L₂-Regularisierung untersuchen

Diese Übung enthält ein kleines, verrauschtes Trainingsdaten-Dataset. In diesem Umfeld ist die Überanpassung ein echtes Problem. Glücklicherweise Regularisierung helfen.

Diese Übung umfasst drei zusammengehörige Aufgaben. Um Vergleiche zu vereinfachen jede Aufgabe in einer separaten Registerkarte ausführen.

• Aufgabe 1: Führen Sie das Modell wie angegeben über mindestens 500 Epochen aus. Hinweis Folgendes: <ph type="x-smartling-placeholder">
  </ph>
  • Testverlust.
  • Das Delta zwischen Test- und Trainingsverlust.
  • Die gelernten Gewichtungen der Features und der Featureverknüpfungen. (Die relative Stärke der einzelnen Linien, die von FEATURES bis OUTPUT verlaufen die gelernte Gewichtung für dieses Feature oder diese Featureverknüpfung. Die genauen Gewichtswerte werden angezeigt, wenn Sie mit der Maus in jede Zeile ein.)
• Aufgabe 2: Diese Aufgabe in einem separaten Tab ausführen. Erhöhen Sie die Regularisierungsrate von 0 bis 0.3 liegt. Führen Sie dann den für mindestens 500 Epochen erstellt, und finden Antworten auf die folgenden Fragen: <ph type="x-smartling-placeholder">
  </ph>
  • Wie unterscheidet sich der Testverlust in Aufgabe 2 vom Testverlust in Aufgabe 2. 1?
  • Wie sieht das Delta zwischen Test- und Trainingsverlust in Aufgabe 2 aus? von Aufgabe 1 unterscheiden?
  • Wie unterscheiden sich die erlernten Gewichtungen der einzelnen Features und Featureverknüpfungen? von Aufgabe 2 zu Aufgabe 1?
  • Was sagen Ihre Ergebnisse über die Modellkomplexität aus?
• Aufgabe 3: Experimentieren Sie mit der Regularisierungsrate und versuchen Sie, optimalen Wert.

(Die Antworten werden direkt unter der Übung angezeigt.)

---

---

Klicken Sie auf das Pluszeichen, um Antworten zu erhalten.

Wenn die Regularisierungsrate von 0 auf 0,3 erhöht wird, ergibt sich Folgendes: Effekte:

• Der Testverlust nimmt deutlich ab.

  Hinweis: Während der Testverlust sinkt, der Trainingsverlust ansteigt. Das ist zu erwarten, da Sie ein weiteres Verlustfunktion zur Benachteiligung der Komplexität. Letztendlich der Testverlust, denn das ist das wahre Maß für die Fähigkeit des Modells, gute Vorhersagen für neue Daten zu treffen.

• Das Delta zwischen Test- und Trainingsverlust fällt deutlich zurück.
• Die Gewichtung der Elemente und einige der Funktionsverknüpfungen sind geringer. Dies impliziert, dass die Modellkomplexität sinkt.

Angesichts der Zufälligkeit im Dataset ist es nicht möglich, welche Regularisierungsrate die besten Ergebnisse für Sie lieferte. Im Allgemeinen erzeugte eine Regularisierungsrate von 0, 3 oder 1 den niedrigsten Testverlust.