Regolarizzazione per sparsity: esercizio fisico

Tempo stimato: 8 minuti

Analisi della regolarizzazione L₁

Questo esercizio contiene un set di dati di addestramento piccolo e leggermente rumoroso. In questo tipo di contesto, l'overfitting è una preoccupazione reale. La regolarizzazione potrebbe essere d'aiuto, ma quale forma di regolarizzazione?

Questo esercizio consiste in cinque attività correlate. Per semplificare i confronti tra le cinque attività, esegui ogni attività in una scheda separata. Nota che gli spessori delle linee che collegano FEATURES e OUTPUT rappresentano i relativi pesi di ciascuna caratteristica.

Attività	Tipo di regolarizzazione	Tasso di regolarizzazione (lambda)
1	L2	0,1
2	L2	0.3
3	L1	0,1
4	L1	0.3
5	L1	esperimento

Domande:

1. In che modo il passaggio dalla regolarizzazione L₂ a L₁ influenza il delta tra perdita del test e perdita di addestramento?
2. In che modo il passaggio dalla regolarizzazione L₂ a L₁ influenza i pesi appresi?
3. In che modo l'aumento del tasso di regolarizzazione L₁ (lambda) influenza i pesi appresi?

Le risposte vengono visualizzate appena sotto l'allenamento.

---

---

Fai clic sull'icona Più per le risposte.

1. Il passaggio dalla regolarizzazione L₂ a L₁ riduce drasticamente il delta tra la perdita dei test e la perdita di addestramento.
2. Il passaggio da L₂ a L₁ di regolarizzazione attenua tutti i pesi appresi.
3. L'aumento del tasso di regolarizzazione L₁ in genere attenua i pesi appresi; tuttavia, se il tasso di regolarizzazione è troppo elevato, il modello non può convergere e le perdite sono molto elevate.

 

Centro assistenza