Analisi della regolarizzazione L₁

Questo esercizio include un piccolo in un set di dati. In questo tipo di situazione, l'overfitting è una vera preoccupazione. La regolarizzazione potrebbe essere di aiuto, ma quale forma di regolarizzazione?

Questo esercizio consiste in cinque attività correlate. Per semplificare i confronti tra le cinque, eseguile in una scheda separata. Nota che gli spessori delle linee che collegano FEATURES e OUTPUT rappresentano i pesi relativi di ogni caratteristica.

Attività	Tipo di regolarizzazione	Tasso di regolarizzazione (lambda)
1	P2	0,1
2	P2	0,3
3	MIN1	0,1
4	MIN1	0,3
5	MIN1	esperimento

Domande:

1. In che modo passare dalla regolarizzazione L₂ alla regolarizzazione L₁ influenzare il delta tra perdita di test e perdita di addestramento?
2. In che modo passare dalla regolarizzazione L₂ alla regolarizzazione L₁ influenzare i pesi appresi?
3. In che modo influenza l'aumento del tasso di regolarizzazione L₁ (lambda) i pesi appresi?

Le risposte vengono visualizzate immediatamente sotto l'esercizio.

---

---

Fai clic sull'icona Più per le risposte.

1. Passare in modo significativo dalla regolarizzazione L₂ a L₁ riduce il delta tra perdita di test e perdita di addestramento.
2. Attenuazione della regolarizzazione nel passaggio da L₂ a L₁ tutti i pesi appresi.
3. L'aumento della velocità di regolarizzazione L₁ attenua generalmente i pesi appresi; Tuttavia, se il tasso di regolarizzazione è troppo elevato, il modello non può convergere e le perdite sono molto elevate.