Lernrate und Konvergenz
Dies ist die erste von mehreren Playground-Übungen. Playground ist ein Programm die speziell für diesen Kurs entwickelt wurden, um die Prinzipien des maschinellen Lernens zu vermitteln. Jede Playground-Übung in diesem Kurs umfasst einen eingebetteten Spielplatz mit Voreinstellungen.
Jede Playground-Übung generiert ein Dataset. Das Label für diese Dataset zwei mögliche Werte hat. Diese beiden Möglichkeiten fallen Ihnen mögliche Werte wie „Spam“ oder „kein Spam“ oder vielleicht gesunde oder kranke Bäume. Bei den meisten Übungen besteht das Ziel darin, verschiedene Hyperparameter zu optimieren, ein Modell, das ein System erfolgreich klassifiziert (trennt) aus dem anderen Labelwert. Beachten Sie, dass die meisten Datensätze eine bestimmte Rauschen erzeugt, das eine erfolgreiche Klassifizierung jedes Beispiel.
Klicken Sie auf das Pluszeichen, um eine Erläuterung der Modellvisualisierung aufzurufen.
Jede Playground-Übung zeigt eine Visualisierung der aktuellen Status des Modells. Hier ist ein Beispiel für eine Visualisierung:
Beachten Sie Folgendes zur Modellvisualisierung:
- Jede Achse stellt ein bestimmtes Element dar. Im Falle von Spam vs. kein Spam z. B. die Wortzahl und die Empfängerzahl der E-Mail.
- Jeder Punkt stellt die Featurewerte für ein Beispiel der Daten dar, z. B. eine E-Mail.
- Die Farbe des Punkts stellt die Klasse dar, zu der das Beispiel gehört. Die blauen Punkte können z. B. für E-Mails stehen, bei denen es sich nicht um Spam-E-Mails handelt, während die orangefarbene Punkte können Spam-E-Mails darstellen.
- Die Hintergrundfarbe stellt die Vorhersage des Modells dar, wo Beispiele sollte gefunden werden. Ein blauer Hintergrund um einen blauen Punkt dass das Modell dieses Beispiel korrekt vorhersagt. Umgekehrt Ein orangefarbener Hintergrund um einen blauen Punkt bedeutet, dass das Modell die dieses Beispiel falsch vorhersagen.
- Die Hintergrund-Blautöne und Orangen werden skaliert. Zum Beispiel ist die linke Seite Die Visualisierung ist durchgängig blau, wird aber in der Mitte langsam weiß der Visualisierung. Sie können sich die Farbstärke wie sicher das Modell in seine Vermutung ist. Blau bedeutet also, dass das Modell sehr sicher ist und hellblau bedeutet, dass das Modell ist weniger zuversichtlich. (Die in der Abbildung gezeigte Modellvisualisierung keine gute Vorhersage getroffen hat.)
Verwenden Sie die Visualisierung, um den Fortschritt Ihres Modells zu beurteilen. ("Sehr gut – die meisten blauen Punkte haben einen blauen Hintergrund" oder „Oh nein! Die blauen Punkte haben einen orangefarbenen Hintergrund.") Playground zeigt auch den aktuellen Verlust des Modells in Zahlen an. („Oh nein! Der Verlust nimmt zu, anstatt ihn zu senken.“)
Die Benutzeroberfläche für diese Übung enthält drei Schaltflächen:
| Symbol | Name | Funktion |
|---|---|---|
|
Zurücksetzen | Setzt Iterationen auf 0 zurück. Alle Gewichtungen dieses Modells werden zurückgesetzt. erlernt haben. |
|
Schritt | Eine Iteration fortsetzen. Mit jeder Iteration, manchmal nur subtil und manchmal drastisch verändert. |
|
Neu generieren | Erstellt einen neuen Datensatz. Iterationen werden nicht zurückgesetzt. |
In dieser ersten Playground-Übung Lernrate durch Ausführen von zwei Aufgaben.
Aufgabe 1: Beachten Sie das Menü Lernrate rechts oben auf der Spielplatz. Die Lernrate – 3 – ist sehr hoch. Beobachten wie sich diese hohe Lernrate auf Ihr Modell auswirkt, 10- oder 20-mal. Achten Sie nach jeder frühen Iteration darauf, wie das Modell ändert sich die Visualisierung erheblich. Es kann sogar zu Instabilität nach dem Zeitpunkt, an dem das Modell konvergiert zu sein scheint. Sehen Sie auch die Linien, von x1 und x2 an die Modellvisualisierung übergeben. Die Gewichtungen von Diese Linien geben die Gewichtung dieser Merkmale im Modell an. Das bedeutet, dass ein dicke Linie auf ein hohes Gewicht hindeutet.
Aufgabe 2: Gehen Sie wie folgt vor:
- Drücken Sie die Taste Zurücksetzen.
- Verringern Sie die Lernrate.
- Drücke mehrmals auf die Schritt-Taste.
Wie hat sich die niedrigere Lernrate auf die Konvergenz ausgewirkt? Untersuchen Sie beide die Anzahl der Schritte, die für das Konvergieren des Modells erforderlich sind, und wie reibungslos und das Modell konvergiert. Experimentieren Sie mit noch niedrigeren Werten Lernrate. Finden Sie eine Lernrate, die zu langsam ist, um nützlich zu sein? (Sie werden finden Sie direkt unter der Übung eine Diskussion.)