Lernrate und Konvergenz
Dies ist die erste von mehreren Playground-Übungen. Playground ist ein Programm, das speziell für diesen Kurs entwickelt wurde, um die Prinzipien des maschinellen Lernens zu vermitteln. Jede Playground-Übung in diesem Kurs enthält eine eingebettete Playground-Instanz mit Voreinstellungen.
Für jede Playground-Übung wird ein Dataset generiert. Das Label für dieses Dataset hat zwei mögliche Werte. Sie können sich diese beiden möglichen Werte als Spam oder kein Spam oder vielleicht gesunde Bäume vs. kranke Bäume vorstellen. Das Ziel der meisten Übungen besteht darin, verschiedene Hyperparameter zu optimieren, um ein Modell zu erstellen, das einen Labelwert erfolgreich von dem anderen klassifiziert (trennt oder unterscheidet). Beachten Sie, dass die meisten Datasets eine bestimmte Menge an Rauschen enthalten, sodass es nicht möglich ist, jedes Beispiel erfolgreich zu klassifizieren.
Klicken Sie auf das Pluszeichen, um eine Erläuterung der Modellvisualisierung anzuzeigen.
Für jede Playground-Übung wird eine Visualisierung des aktuellen Status des Modells angezeigt. Hier ist eine Visualisierung zum Beispiel:
Beachten Sie Folgendes zur Modellvisualisierung:
- Jede Achse repräsentiert ein bestimmtes Element. Bei Spam und keinem Spam könnten die Funktionen beispielsweise die Wortzahl und die Anzahl der Empfänger der E-Mail sein.
- Jeder Punkt stellt die Featurewerte für ein Datenbeispiel dar, z. B. eine E-Mail.
- Die Farbe des Punkts stellt die Klasse dar, zu der das Beispiel gehört. Die blauen Punkte können beispielsweise für E-Mails stehen, die kein Spam sind, während die orangefarbenen Punkte für Spam-E-Mails stehen.
- Die Hintergrundfarbe stellt die Vorhersage des Modells dar, wo Beispiele für diese Farbe zu finden sind. Ein blauer Hintergrund um einen blauen Punkt bedeutet, dass das Modell dieses Beispiel korrekt vorhersagt. Umgekehrt bedeutet ein orangefarbener Hintergrund um einen blauen Punkt, dass das Modell dieses Beispiel falsch vorhersagt.
- Die Blautöne und die Orangen im Hintergrund werden skaliert. Beispielsweise ist die linke Seite der Visualisierung durchgängig blau leuchten, aber in der Mitte der Visualisierung allmählich zu Weiß. Sie können sich die Farbstärke als Anhaltspunkt für die Konfidenz des Modells in seiner Schätzung vorstellen. Ein durchgängiges Blau bedeutet, dass das Modell sehr zuversichtlich ist, und hellblau, dass das Modell weniger sicher ist. (Die in der Abbildung gezeigte Modellvisualisierung bietet eine schlechte Vorhersage.)
Nutzen Sie die Visualisierung, um den Fortschritt Ihres Modells zu beurteilen. („Hervorragend – die meisten blauen Punkte haben einen blauen Hintergrund.“ oder Die blauen Punkte haben einen orangefarbenen Hintergrund.") Neben den Farben zeigt Playground den aktuellen Verlust des Modells auch numerisch an. („Oh nein! Die Verluste gehen nach oben statt nach unten.")
Die Benutzeroberfläche für diese Übung enthält drei Schaltflächen:
| Icon | Name | Funktion |
|---|---|---|
|
Zurücksetzen | Setzt Iterationen auf 0 zurück. Setzt alle Gewichtungen zurück, die das Modell bereits gelernt hatte. |
|
Step | Fahre eine Iteration fort. Mit jeder Iteration verändert sich das Modell – manchmal subtil, manchmal drastisch. |
|
Neu generieren | Erstellt einen neuen Datensatz. Setzt Iterationen nicht zurück. |
In dieser ersten Playground-Übung testen Sie die Lernrate in zwei Aufgaben.
Aufgabe 1:Rechts oben in Playground finden Sie das Menü Lernrate. Die vorgegebene Lernrate (3) ist sehr hoch. Wenn Sie 10- oder 20-mal auf die Schaltfläche „Schritt“ klicken, können Sie beobachten, wie sich diese hohe Lernrate auf Ihr Modell auswirkt. Nach jeder ersten Iteration beobachten Sie, wie sich die Modellvisualisierung dramatisch ändert. Möglicherweise stellen Sie sogar eine Instabilität fest, nachdem das Modell konvergiert zu sein scheint. Beachten Sie auch die Linien, die von x1 und x2 zur Modellvisualisierung verlaufen. Die Gewichtung dieser Linien gibt die Gewichtung dieser Features im Modell an. Das heißt, eine dicke Linie steht für eine hohe Gewichtung.
Aufgabe 2:Führen Sie folgende Schritte aus:
- Klicken Sie auf die Schaltfläche Zurücksetzen.
- Verringern Sie die Lernrate.
- Drücke die Step-Taste mehrmals hintereinander.
Wie hat sich die niedrigere Lernrate auf die Konvergenz ausgewirkt? Untersuchen Sie sowohl die Anzahl der Schritte, die für die Konvergierung des Modells erforderlich sind, als auch, wie gleichmäßig und gleichmäßig das Modell konvergiert. Experimentieren Sie mit noch niedrigeren Werten für die Lernrate. Finden Sie eine Lernrate, die zu langsam ist, um nützlich zu sein? (Unter der Übung sehen Sie eine Diskussion.)