Regolarizzazione L1
Esplora le opzioni riportate di seguito.
Immagina un modello lineare con 100 caratteristiche di input:
10 sono altamente informative.
90 non sono informativi.
Supponiamo che tutte le caratteristiche abbiano valori compresi tra -1 e 1.
Quali delle seguenti affermazioni sono vere?
La regolarizzazione L1 incoraggerà molti pesi non informativi a essere quasi (ma non esattamente) 0,0.
In generale, la regolarizzazione L1 di una quantità di lambda sufficiente tende a incoraggiare le funzionalità non informative a ponderazioni pari esattamente a 0,0.
A differenza della regolarizzazione L2, la regolarizzazione L1 "spinge" verso 0,0 indipendentemente da quanto dista il peso da 0,0.
La regolarizzazione L1 incoraggerà la maggior parte dei pesi non informativi a essere esattamente 0,0.
La regolarizzazione L1 di una quantità di lambda sufficiente tende a incoraggiare i pesi non informativi a diventare esattamente 0,0. In questo modo, queste funzionalità non informative lasciano il modello.
La regolarizzazione L1 può far sì che le funzionalità informative ricevano una ponderazione esattamente di 0,0.
Fai attenzione: la regolarizzazione L1 potrebbe far sì che ai seguenti tipi di funzionalità vengano assegnati pesi esattamente 0:
Funzionalità poco informative.
Funzionalità altamente informative su scale diverse.
Le funzionalità informative sono fortemente correlate ad altre funzionalità informative simili.
Regolarizzazione L1 e L2
Esplora le opzioni riportate di seguito.
Immagina un modello lineare con 100 caratteristiche di input, tutte con valori compresi tra -1 e 1:
10 sono altamente informative.
90 non sono informativi.
Quale tipo di regolarizzazione produce il modello più piccolo?
Regolarizzazione L2.
La regolarizzazione L2 raramente riduce il numero di funzionalità.
In altre parole, la regolarizzazione L2 riduce raramente le dimensioni del modello.
Regolarizzazione L1.
La regolarizzazione L1 tende a ridurre il numero di caratteristiche. In altre parole, la regolarizzazione L1 spesso riduce le dimensioni del modello.