Regularisierung für Einfachheit: Playground-Übung (Überquerung?)
Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Überquerung?
Bevor Sie sich das Video ansehen oder die Dokumentation lesen, gehen Sie bitte diese Übung zur übermäßigen Nutzung von Feature-Crosses durch.
Aufgabe 1: Führen Sie das Modell in der vorliegenden Form mit allen angegebenen produktübergreifenden Features aus. Gibt es Überraschungen bei der Anpassung des Modells an die Daten?
Was ist das Problem?
Aufgabe 2: Entfernen Sie verschiedene produktübergreifende Features, um die Leistung zu verbessern (wenn auch nur geringfügig). Warum würde das Entfernen von Funktionen
die Leistung verbessern?
(Die Antworten werden direkt unter der Übung angezeigt.)
Klicken Sie auf das Pluszeichen, um eine Antwort zu Aufgabe 1 zu erhalten.
Überraschenderweise sieht die Entscheidungsgrenze des Modells irgendwie verrückt aus. Insbesondere gibt es einen Bereich oben links, der auf Blau deutet, obwohl es in den Daten keine sichtbare Unterstützung dafür gibt.
Beachten Sie die relative Dicke der fünf Linien, die von INPUT bis OUTPUT verlaufen.
Diese Linien zeigen die relative Gewichtung der fünf Merkmale.
Die von X1 und X2 ausgehenden Linien sind viel dicker als die aus den Feature-Kreuzen. Daher tragen die Featureverknüpfungen weitaus weniger zum Modell bei als die normalen (nicht verknüpften) Features.
Klicken Sie auf das Pluszeichen, um eine Antwort zu Aufgabe 2 zu erhalten.
Das Entfernen aller Featureverknüpfungen ergibt ein vernünftigeres Modell (es gibt keine gekrümmte Grenze mehr, die auf eine Überanpassung hindeutet) und sorgt dafür, dass der Testverlust konvergiert.
Nach 1.000 Iterationen sollte der Testverlust ein etwas niedrigerer Wert sein als bei den Featureverknüpfungen. Je nach Dataset können die Ergebnisse jedoch leicht variieren.
Die Daten in dieser Übung sind im Grunde lineare Daten plus Rauschen.
Wenn wir ein Modell verwenden, das zu kompliziert ist, z. B. eines mit zu vielen Kreuzen, passt es sich an das Rauschen in den Trainingsdaten an, was häufig zulasten einer schlechten Leistung bei Testdaten geht.
