Sprawdzanie regularyzacji L₂

To ćwiczenie zawiera niewielki, zakłócający pracę zbiór danych treningowych. W takich sytuacjach nadmierne dopasowanie to poważny problem. Na szczęście może pomóc regularyzacja.

To ćwiczenie składa się z 3 powiązanych ze sobą zadań. Aby uprościć porównania aby obejmowały 3 zadania, uruchom każde z nich na osobnej karcie.

• Zadanie 1. Uruchom model zgodnie z podanym opisem przez co najmniej 500 epok. Notatka następujące:
  • Przegrana.
  • Różnica między utratą testu a utratą trenowania.
  • Zapamiętane wagi cech i przecinających się cech. (Względna grubość każdego wiersza biegnącego od FEATURES do OUTPUT przedstawia zapamiętaną wagę dla danej cechy lub krzywej cech. Dokładne wartości wagi znajdziesz, najeżdżając kursorem na w każdym wierszu).
• Zadanie 2. (Rozważ wykonanie tego zadania na osobnej karcie). Zwiększ współczynnik regularyzacji od 0 do 0,3. Następnie uruchom dla co najmniej 500 epok i znaleźć odpowiedzi na następujące pytania:
  • Czym różni się utrata testu w zadaniu 2 od utraty testu w zadaniu 1?
  • Jaka jest różnica między utratą testową a utratą trenowania w zadaniu 2 różni się od zadania 1?
  • Czym różnią się zapamiętane wagi poszczególnych cech i cech? z zadania 2 do zadania 1?
  • Co mówią wyniki o złożoności modelu?
• Zadanie 3. Eksperymentuj ze współczynnikiem regularyzacji, próbując znaleźć jest optymalna.

(Odpowiedzi pojawią się tuż pod ćwiczeniem).

---

---

Aby uzyskać odpowiedzi, kliknij ikonę plusa.

Zwiększenie współczynnika regularyzacji z 0 do 0,3 daje następujący wynik: efekty:

• Liczba utraconych testów znacznie spada.

  Uwaga: chociaż utrata testów maleje, utrata trenowania wzrasta. To normalne, bo dodano inny identyfikator na funkcję strat, aby ukarać złożoność. W efekcie wszystkie te elementy liczą się straty testowe, ponieważ jest to prawdziwa miara zdolności modelu tworzyć dobre prognozy na podstawie nowych danych.

• Różnica między utratą testową a utratą trenowania znacznie spada.
• Wagi obiektów i niektórych krzyżów cech mają niższe wartości bezwzględne, co oznacza, że złożoność modelu zmniejsza się.

Ze względu na losowość zbioru danych nie można przewidzieć który współczynnik regularyzacji daje najlepsze wyniki. Naszym zdaniem współczynnik regularyzacji równy 0, 3 lub 1 zwykle zapewnia najniższą stratę testową.