Regolarizzazione per sparsità

Questo modulo è incentrato sui requisiti speciali per i modelli appresi sui vettori di caratteristiche che hanno molte dimensioni.

Regolarizzazione per sparsità

  • Avvertimento: gli incroci di caratteristiche sparse possono aumentare notevolmente lo spazio dei feature.
  • Possibili problemi:
    • Le dimensioni del modello (RAM) potrebbero diventare enormi
    • Coefficienti di "rumore" (causa l'overfitting)
  • Vuole penalizzare la norma L0 di pesi
    • Ottimizzazione non convessa; difficile NP
  • Vuole penalizzare la norma L0 di pesi
    • Ottimizzazione non convessa; difficile NP
  • Rilassati con la regolarizzazione L1:
    • Penalizza la somma degli abs(ponderi)
    • Problema di convesso
    • Incoraggia la sparsità a differenza di L2