L2 Regolarizzazione
Esplora le opzioni riportate di seguito.
Immagina un modello lineare con 100 caratteristiche di input:
10 sono altamente informative.
90 non sono informativi.
Supponiamo che tutte le caratteristiche abbiano valori compresi tra -1 e 1.
Quali delle seguenti affermazioni sono vere?
La regolarizzazione L2 incoraggerà molti pesi non informativi a essere quasi (ma non esattamente) 0,0.
Sì, la regolarizzazione L2 incoraggia i pesi a essere vicini a 0,0, ma non esattamente a 0,0.
La regolarizzazione L2 incoraggerà la maggior parte dei pesi non informativi a essere esattamente 0,0.
La regolarizzazione L2 non tende a forzare le ponderazioni a esattamente 0,0. La regolarizzazione L2 penalizza pesi
maggiori di più rispetto a pesi più piccoli. Quando un peso si avvicina a 0,0, L2 "spinge" meno forza verso 0,0.
La regolarizzazione L2 può far sì che il modello apprenda un peso moderato per alcune funzionalità non informative.
Sorprendentemente, questo può accadere quando una funzionalità non informativa è correlata all'etichetta. In questo caso, il modello fornisce erroneamente a queste caratteristiche non informative una parte del "merito" che avrebbe dovuto essere assegnato alle caratteristiche informative.
L2 Regolarizzazione e funzionalità correlate
Esplora le opzioni riportate di seguito.
Immagina un modello lineare con due caratteristiche fortemente correlate; in altre parole,
queste due caratteristiche sono copie quasi identiche l'una dell'altra, ma una
caratteristica contiene una piccola quantità di rumore casuale. Se addestriamo questo modello con la regolarizzazione L2, cosa succederà alle ponderazioni di queste due caratteristiche?
Entrambe le funzionalità avranno pesi approssimativamente uguali e moderati.
La regolarizzazione L2 costringerà le caratteristiche a usare pesi approssimativamente equivalenti, che sono circa la metà di quelli che sarebbero stati se solo una delle due funzionalità fosse stata presente nel modello.
Una caratteristica avrà un peso elevato, l'altra
un peso quasi di 0,0.
La regolarizzazione L2 penalizza pesi di grandi dimensioni più
di pesi piccoli. Quindi, anche se un peso iniziava a diminuire più velocemente dell'altro, la regolarizzazione L2 tendeva a costringere il peso maggiore a diminuire più rapidamente rispetto a quello più piccolo.
Una caratteristica avrà un peso elevato, l'altra
un peso esattamente di 0,0.
La regolarizzazione L2 raramente obbliga
le ponderazioni esattamente a 0,0. Al contrario, la regolarizzazione L1
(spiegata più avanti) forza pesi esattamente a 0,0.