Lineare Regression: Übung zum Gradientenabstieg

In dieser Übung sehen Sie sich das Diagramm mit den Daten zur Kraftstoffeffizienz aus der Übung zu Parametern noch einmal an. Dieses Mal verwenden Sie jedoch den Gradientenabstieg, um die optimalen Gewichts- und Bias-Werte für ein lineares Modell zu ermitteln, das den Verlust minimiert.

Führen Sie die drei Aufgaben unter dem Diagramm aus.

Diese interaktive Visualisierung kann bei einer hohen Lernrate flackernde Bilder erzeugen, was sich auf lichtempfindliche Personen auswirken kann.

Aufgabe 1:Stellen Sie den Schieberegler Lernrate unter dem Diagramm auf 0,03 ein. Klicken Sie auf die Schaltfläche Starten, um den Gradientenabstieg auszuführen.

Wie lange dauert es, bis das Modelltraining konvergiert (einen stabilen minimalen Verlustwert erreicht)? Was ist der MSE-Wert bei Modellkonvergenz? Welche Werte für Gewicht und Bias führen zu diesem Wert?

Klicken Sie auf das Pluszeichen, um unsere Lösung zu sehen.

Bei einer Lernrate von 0,03 konvergierte das Modell in etwa 30 Sekunden und erreichte einen MSE von 2,67 mit Gewichts- und Bias-Werten von –1,14 bzw. 20,389. Das deutet darauf hin, dass wir einen guten Wert für die Lernrate ausgewählt haben.

Aufgabe 2:Klicken Sie unter dem Diagramm auf die Schaltfläche Zurücksetzen, um die Werte für „Gewicht“ und „Bias“ im Diagramm zurückzusetzen. Stellen Sie den Schieberegler für die Lernrate auf einen Wert um 1,10e^–5 ein. Klicken Sie auf die Schaltfläche Starten, um den Gradientenabstieg auszuführen.

Was fällt Ihnen daran auf, wie lange es diesmal dauert, bis das Modelltraining konvergiert?

Klicken Sie auf das Pluszeichen, um die Lösung zu sehen.

Das Modelltraining ist nach mehreren Minuten immer noch nicht konvergiert. Kleine Aktualisierungen der Werte für Gewicht und Bias führen weiterhin zu leicht niedrigeren Verlustwerten. Das bedeutet, dass der Gradientenabstieg mit einer höheren Lernrate die optimalen Werte für Gewicht und Bias schneller finden kann.

Aufgabe 3:Klicken Sie unter dem Diagramm auf die Schaltfläche Zurücksetzen, um die Werte für „Gewichtung“ und „Bias“ im Diagramm zurückzusetzen. Stellen Sie den Schieberegler Lernrate auf bis zu 1 ein. Klicken Sie auf die Schaltfläche Starten, um den Gradientenabstieg auszuführen.

Was passiert mit den Verlustwerten während des Gradientenabstiegs? Wie lange dauert es dieses Mal, bis das Modelltraining konvergiert?

Klicken Sie auf das Pluszeichen, um die Lösung zu sehen.

Bei hohen Werten (MSE über 300) schwanken die Verlustwerte stark. Das deutet darauf hin, dass die Lernrate zu hoch ist und das Modelltraining nie konvergieren wird.