Badanie regularyzacji L2
To ćwiczenie obejmuje mały, głośny zbiór danych treningowych. W takiej sytuacji nadmiarowe dopasowanie jest poważnym problemem. Na szczęście regularność może pomóc.
To ćwiczenie składa się z 3 powiązanych zadań. Aby uprościć porównania 3 zadań, uruchom każde z nich na osobnej karcie.
- Zadanie 1. Uruchom model zgodnie z podanym opisem przez co najmniej 500 eo. Uwaga:
- Przetestuj przegraną.
- Różnica między utratą testów a utratą trenowania.
- Zapamiętane wagi cech i elementów przecinają się. Względna grubość każdej linii biegnącej od FEATURES do OUTPUT reprezentuje wagę zapamiętaną dla danej cechy lub krzyżyka cechy. Dokładne wartości wagi możesz znaleźć, najeżdżając kursorem na poszczególne wiersze.
- Zadanie 2. Rozważ wykonanie tego zadania w osobnej karcie. Zwiększ współczynnik regularyzacji z 0 do 0,3. Następnie uruchom model przez co najmniej 500 etapów i znajdź odpowiedzi na te pytania:
- Czym różni się utrata udziału w teście w zadaniu 2 od utraty w zadaniu 1?
- Czym różni się różnica między utratą podczas testów a utratą z trenowania w zadaniu 2 od tego w zadaniu 1?
- Czym różnią się wagi w poszczególnych zadaniach 2 i 1 w poszczególnych zadaniach?
- Co mówią wyniki na temat złożoności modelu?
- Zadanie 3. Eksperymentuj ze współczynnikiem regularyzacji, starając się znaleźć optymalną wartość.
(Odpowiedzi pojawią się tuż pod ćwiczeniem).