L2-Regularisierung untersuchen
Diese Übung enthält ein kleines, ungenaues Trainings-Dataset. In einer solchen Situation ist Überanpassung ein echtes Problem. Glücklicherweise kann Regularisierung helfen.
Diese Übung besteht aus drei zusammengehörigen Aufgaben. Um den Vergleich zwischen den drei Aufgaben zu vereinfachen, führen Sie jede Aufgabe in einem separaten Tab aus.
- Aufgabe 1:Führen Sie das Modell mindestens 500 Epochen lang wie angegeben aus. Beachten Sie Folgendes:
- Testverlust.
- Das Delta zwischen Test- und Trainingsverlust.
- Die gelernten Gewichtungen der Features und der Feature-Kreuzungen. (Die relative Stärke der einzelnen Linien, die von FEATURES bis OUTPUT verlaufen, stellt die gelernte Gewichtung für dieses Feature oder diese Featurekreuz dar. Sie erhalten die genauen Gewichtungswerte, wenn Sie den Mauszeiger auf die einzelnen Zeilen bewegen.)
- Aufgabe 2: (Erledigen Sie diese Aufgabe in einem separaten Tab.) Erhöhen Sie die Regularisierungsrate von 0 auf 0.3. Führen Sie dann das Modell für mindestens 500 Epochen aus und finden Sie Antworten auf die folgenden Fragen:
- Wie unterscheidet sich der Testverlust in Aufgabe 2 vom Testverlust in Aufgabe 1?
- Wie unterscheidet sich das Delta zwischen Test- und Trainingsverlust in Aufgabe 2 von dem in Aufgabe 1?
- Inwiefern unterscheiden sich die gelernten Gewichtungen der einzelnen Feature- und Featureverknüpfungen von Aufgabe 2 zu Aufgabe 1?
- Was sagen Ihre Ergebnisse über die Modellkomplexität aus?
- Aufgabe 3: Mit der Regularisierungsrate experimentieren und den optimalen Wert finden.
(Die Antworten werden direkt unter der Übung angezeigt.)