Esplora le opzioni di seguito.
Immagina un modello lineare con due caratteristiche fortemente correlate: cioè
queste due caratteristiche sono copie quasi identiche l'una dell'altra, ma una
contiene una piccola quantità di rumore casuale. Se addestriamo questo
modello con regolarizzazione L2, cosa succederà ai pesi
per queste due funzionalità?
Entrambe le funzionalità avranno ponderazioni approssimativamente uguali e moderate.
La regolarizzazione L2 obbligherà le caratteristiche a
ponderazioni più o meno equivalenti che corrispondono a circa la metà
con una sola delle due caratteristiche,
nel modello.
Una caratteristica avrà un peso elevato; l'altro avrà
peso minimo pari a quasi 0,0.
La regolarizzazione L2 penalizza maggiormente i pesi maggiori
che con pesi piccoli. Quindi, anche se un peso iniziava a calare
più veloce dell'altra, la regolarizzazione L2
tendono a far scendere il peso più rapidamente rispetto a
minore sarà il peso.
Una caratteristica avrà un peso elevato; l'altro avrà
peso esattamente 0,0.
La regolarizzazione L2 forza raramente
dei pesi con esattamente 0,0. Al contrario, la regolarizzazione L1
(trattata più avanti) forza le ponderazioni esattamente su 0,0.