Regresja liniowa: ćwiczenie polegające na schodkowym zmniejszaniu gradientu

W tym ćwiczeniu wrócisz do wykresu danych dotyczących zużycia paliwa z ćwiczenia dotyczącego parametrów. Tym razem użyjesz metody spadku gradientowego, aby poznać optymalne wartości wagi i współczynnika przesunięcia dla modelu liniowego, który minimalizuje stratę.

Wykonaj 3 zadania pod wykresem.

Ta interaktywna wizualizacja może generować migające obrazy, gdy jest ustawiona na wysoką szybkość uczenia się, co może mieć wpływ na osoby wrażliwe na światło.

Zadanie 1: przesuń suwak Szybkość uczenia się pod wykresem, aby ustawić szybkość uczenia się na 0,03. Aby uruchomić metodę gradientu prostego, kliknij przycisk Start.

Ile czasu zajmuje trenowanie modelu, aby osiągnąć zbieżność (osiągnąć stabilną minimalną wartość funkcji straty)? Jaka jest wartość MSE po zbieżności modelu? Jakie wartości wag i odchyleń dają tę wartość?

Kliknij ikonę plusa, aby zobaczyć nasze rozwiązanie

Gdy ustawiliśmy współczynnik uczenia na 0,03, model zbiegł się w około 30 sekund, osiągając MSE na poziomie 2,67, a wartości wagi i odchylenia wyniosły odpowiednio –1,14 i 20,389. Oznacza to, że wybraliśmy odpowiednią wartość tempa uczenia się.

Zadanie 2: kliknij przycisk Resetuj pod wykresem, aby zresetować wartości wagi i odchylenia na wykresie. Przesuń suwak Szybkość uczenia się na wartość około 1,10e^–5. Aby uruchomić metodę gradientu prostego, kliknij przycisk Start.

Co zauważasz w związku z czasem, jaki tym razem zajmuje zbieżność trenowania modelu?

Kliknij ikonę plusa, aby zobaczyć rozwiązanie.

Po kilku minutach trenowanie modelu nadal nie zbiega się. Niewielkie aktualizacje wartości wagi i odchylenia nadal powodują nieznaczne zmniejszenie wartości funkcji straty. Sugeruje to, że wybranie wyższej wartości współczynnika uczenia umożliwi algorytmowi spadku gradientowego szybsze znajdowanie optymalnych wartości wag i odchyleń.

Zadanie 3: kliknij przycisk Resetuj pod wykresem, aby zresetować wartości wagi i odchylenia na wykresie. Przesuń suwak Szybkość uczenia się do wartości 1. Aby uruchomić metodę gradientu prostego, kliknij przycisk Start.

Co się dzieje z wartościami funkcji straty podczas działania algorytmu spadku gradientowego? Ile czasu zajmie tym razem zbieżność trenowania modelu?

Kliknij ikonę plusa, aby zobaczyć rozwiązanie.

Wartości funkcji straty przy wysokich wartościach (MSE powyżej 300) wykazują duże wahania. Oznacza to, że tempo uczenia się jest zbyt wysokie i trenowanie modelu nigdy nie osiągnie konwergencji.