Tempo uczenia się i zbieżność
To pierwsze z kilku ćwiczeń w Playground. Playground to program opracowany specjalnie na potrzeby tego kursu, aby uczyć systemy uczące się. Każde ćwiczenie w ramach tego kursu obejmuje wbudowaną instancję placu zabaw z gotowymi ustawieniami.
Każde ćwiczenie Playground powoduje wygenerowanie zbioru danych. Etykieta tego zbioru danych może mieć 2 możliwe wartości. Te 2 możliwe wartości można sobie wyobrazić jako spam, nie spam albo zdrowe drzewa i chore drzewa. W większości ćwiczeń celem jest dostosowywanie różnych hiperparametrów w celu stworzenia modelu, który skutecznie klasyfikuje (oddziela lub rozróżnia) jedną wartość etykiety od drugiej. Pamiętaj, że większość zbiorów danych zawiera pewną ilość szumu, który uniemożliwia skuteczne sklasyfikowanie każdego przykładu.
Aby dowiedzieć się więcej o wizualizacji modelu, kliknij ikonę plusa.
Każde z testowych ćwiczeń zawiera wizualizację bieżącego stanu modelu. Oto przykładowa wizualizacja:
Kilka uwag na temat wizualizacji modelu:
- Każda oś reprezentuje konkretną cechę. W przypadku podziału na spam lub nie spam właściwościami mogą być liczby słów i liczby adresatów e-maila.
- Każdy punkt powoduje wykreślenie wartości cech dla jednego przykładu danych, na przykład e-maila.
- Kolor kropki reprezentuje klasę, do której należy przykład. Niebieskie kropki oznaczają na przykład e-maile niebędące spamem, a pomarańczowe kropki – spam.
- Kolor tła reprezentuje prognozę modelu dotyczącą miejsc, w których powinny znaleźć się przykłady tego koloru. Niebieskie tło wokół niebieskiej kropki oznacza, że model prawidłowo przewiduje ten przykład. I natomiast pomarańczowe tło wokół niebieskiej kropki oznacza, że model nieprawidłowo przewiduje przykład.
- Niebieskie i pomarańczowe tła są skalowane. Na przykład lewa strona wizualizacji jest stale niebieska, ale w jej środku stopniowo staje się biała. Siła koloru może sugerować wiarygodność modelu. Jednolity kolor niebieski oznacza, że model ma dużą pewność co do swoich możliwości, a jasnoniebieski oznacza, że jest on mniej pewny. Wizualizacja modelu widoczna na ilustracji nie radzi sobie z prognozowaniem.
Użyj wizualizacji, aby ocenić postęp modelu. („Doskonale—większość niebieskich kropek ma niebieskie tło” lub „O nie! Niebieskie kropki mają pomarańczowe tło”). Oprócz kolorów Playground wyświetla też bieżącą stratę modelu w postaci liczbowej. („O, nie! Strata rośnie w górę, a nie spada”).
W interfejsie tego ćwiczenia znajdują się 3 przyciski:
| Ikona | Nazwa | Do czego służy |
|---|---|---|
|
Resetuj | Resetuje wartość Iterations do 0. Resetuje wszystkie wagi zapamiętane przez model. |
|
Step | Przejdź o jedną iterację. Z każdą iteracją model zmienia się – czasami subtelnie, a czasem drastycznie. |
|
Wygeneruj ponownie | Generuje nowy zbiór danych. Nie resetuje Iteracji. |
W tym pierwszym ćwiczeniu Playground poeksperymentujesz z tempem uczenia się, wykonując 2 czynności.
Zadanie 1. Zwróć uwagę na menu Szybkość uczenia się w prawym górnym rogu Playground. Podany tempo uczenia się – 3 – jest bardzo wysoki. Sprawdź, jak wysoki współczynnik uczenia się wpływa na model, klikając przycisk „Krok” 10 lub 20 razy. Po każdej wczesnej iteracji zauważ, jak wizualizacja modelu zmienia się znacząco. Po zbieżności modelu możesz nawet zauważyć pewną niestabilność. Zwróć też uwagę na linie biegnące od x1 i x2 do wizualizacji modelu. Wagi tych linii wskazują wagi tych cech w modelu. Oznacza to, że gruba linia sygnalizuje wysoką wagę.
Zadanie 2. Wykonaj te czynności:
- Kliknij przycisk Resetuj.
- Obniż Tempo uczenia się.
- Naciśnij kilka razy przycisk kroku.
Jak niższe tempo uczenia się wpłynęło na zbieżność? Sprawdź zarówno liczbę kroków wymaganych do zbieżności modelu, a także stopień zbieżności i stopnia zbieżności modelu. Eksperymentuj z jeszcze niższymi wartościami tempa uczenia się. Czy tempo uczenia się jest zbyt wolne, aby było przydatne? (Pod ćwiczeniami znajdziesz tę dyskusję).