L₁-Regularisierung untersuchen

Diese Übung beinhaltet ein kleines, etwas lautes Training Dataset. In diesem Umfeld ist die Überanpassung ein echtes Problem. Regularisierung könnte hilfreich sein, aber welche Form der Regularisierung?

Diese Übung besteht aus fünf zusammengehörigen Aufgaben. Um Vergleiche zu vereinfachen für die fünf Aufgaben verwenden, führen Sie jede Aufgabe in einer separaten Registerkarte aus. Beachten Sie, dass die Stärke der Linien, die FEATURES und OUTPUT verbinden, stellen die relative Gewichtung der einzelnen Merkmale dar.

Aufgabe	Regularisierungstyp	Regularisierungsrate (Lambda)
1	L2	0,1
2	L2	0,3
3	S1	0,1
4	L1	0,3
5	S1	Test

Fragen:

1. Wie funktioniert der Wechsel von der L₂- zur L₁-Regularisierung das Delta zwischen Test- und Trainingsverlust beeinflusst?
2. Wie funktioniert der Wechsel von der L₂- zur L₁-Regularisierung die erlernten Gewichtungen beeinflussen?
3. Wie wirkt sich eine Erhöhung der L₁-Regularisierungsrate (Lambda) darauf aus? die gelernten Gewichte?

(Die Antworten werden direkt unter der Übung angezeigt.)

---

---

Klicken Sie auf das Pluszeichen, um Antworten zu erhalten.

1. Dramatischer Wechsel von L₂ zur L₁-Regularisierung verringert das Delta zwischen Test- und Trainingsverlust.
2. Von Regularisierungsdämpfern L₂ zu L₁ wechseln alle gelernten Gewichte.
3. Durch das Erhöhen der L₁-Regularisierungsrate wird in der Regel die erlernten Gewichte; Wenn jedoch die Regularisierungsrate zu hoch wird, das Modell nicht konvergieren kann, und die Verluste sind sehr hoch.