Badanie regularyzacji L₁

To ćwiczenie składa się z niewielkiego, nieco głośnego, treningu zbiór danych. W takich sytuacjach nadmierne dopasowanie to poważny problem. Regulacja może pomóc, ale która forma regularyzacji?

To ćwiczenie składa się z 5 powiązanych zadań. Aby uprościć porównania na 5 zadań, uruchom każde z nich na osobnej karcie. Zwróć uwagę, że grubość linii łączących FEATURES i OUTPUT wskazują względną wagę każdej cechy.

Zadanie	Typ regularyzacji	Częstotliwość regularyzacji (lambda)
1	O2	0,1
2	O2	0,3
3	O1	0,1
4	O1	0,3
5	O1	eksperyment

Pytania:

1. Jak przejść z regularizacji z L₂ na L₁? wpływa na różnicę między utratą testu a utratą trenowania?
2. Jak przejść z regularizacji z L₂ na L₁? wpływa na wyuczone wagi?
3. Jaki wpływ ma zwiększenie współczynnika regularyzacji L₁ (lambda) nauczonych wag?

(Odpowiedzi pojawią się tuż pod ćwiczeniem).

---

---

Aby uzyskać odpowiedzi, kliknij ikonę plusa.

1. Duże przechodzenie z regularizacji L₂ na L₁ zmniejsza różnicę między utratą testu a utratą trenowania.
2. Przejście z regularizacji L₂ na L₁ wycisza wszystkich nauczonych wag.
3. Zwiększenie współczynnika regularyzacji L₁ zwykle wycisza wyuczone wagi; jednak zbyt wysoki współczynnik regularyzacji, model nie może być zbieżny, a straty są bardzo wysokie.