Regularização de esparsidade

O foco deste módulo são os requisitos especiais dos modelos aprendidos em vetores de atributo que têm muitas dimensões.

Regularização de esparsidade

  • Ressalva: os cruzamentos de atributos esparsos podem aumentar significativamente o espaço de atributos
  • Possíveis problemas:
    • O tamanho do modelo (RAM) pode ficar enorme
    • Coeficientes de "ruído" (causa overfitting)
  • Gostaria de penalizar a norma L0 de pesos
    • Otimização não convexa; NP-difícil
  • Gostaria de penalizar a norma L0 de pesos
    • Otimização não convexa; NP-difícil
  • Relaxe com a regularização L1:
    • Penalizar a soma de abs(weights)
    • Problema convexo
    • Encoraja a esparsidade ao contrário de L2