Zestawy treningowe i testowe
Wracamy do Playground, aby poeksperymentować ze zbiorami treningowymi
i testowymi.
Kliknij ikonę plusa, by zobaczyć, co oznaczają pomarańczowe i niebieskie kropki.
Na wizualizacji:
- Każdy niebieski punkt oznacza 1 przykład jednej klasy danych (na przykład spam).
- Każda pomarańczowa kropka oznacza jeden z przykładów innej klasy danych (na przykład nie spam).
- Kolor tła reprezentuje prognozę modelu dotyczącą miejsc, w których powinny znaleźć się przykłady tego koloru. Niebieskie tło wokół niebieskiej kropki oznacza, że model prawidłowo przewiduje ten przykład. I natomiast pomarańczowe tło wokół niebieskiej kropki oznacza, że model generuje nieprawidłową prognozę dla tego przykładu.
To ćwiczenie obejmuje zbiór testowy i treningowy, które pochodzą z tego samego zbioru danych. Domyślnie wizualizacja pokazuje tylko zbiór do trenowania. Jeśli chcesz zobaczyć też zbiór testowy, kliknij pole wyboru Pokaż dane testowe tuż pod wizualizacją. W wizualizacji zwróć uwagę na to rozróżnienie:
- Przykłady treningowe mają biały kontur.
- Przykłady testowe mają czarny kontur.
Zadanie 1. Uruchom Playground z użyciem podanych ustawień, wykonując te czynności:
- Kliknij przycisk Uruchom/Wstrzymaj:
- Obserwuj zmianę wartości utraty podczas testów i utraty przy trenowaniu.
- Gdy wartości utraty podczas testów i utraty trenowania przestaną się zmieniać lub zmienią się tylko raz na jakiś czas, naciśnij ponownie przycisk Uruchom/Wstrzymaj, aby wstrzymać Playground.
Zwróć uwagę na różnicę między utratą podczas testowania a utratą trenowania. W kolejnych zadaniach postaramy się ograniczyć tę różnicę.
Zadanie 2. Wykonaj te czynności:
- Kliknij przycisk resetowania.
- Zmień Tempo uczenia się.
- Naciśnij przycisk Uruchom/Wstrzymaj:
- Niech Playground będzie działać przez co najmniej 150 epoki.
Czy różnica między utratą testów a utratą trenowania jest mniejsza czy większa wraz z nowym tempo uczenia się? Co się stanie, jeśli zmodyfikujesz zarówno szybkość uczenia się, jak i rozmiar grupy?
Zadanie opcjonalne 3. Suwak oznaczony Procent danych treningowych pozwala kontrolować odsetek danych treningowych do danych testowych. Jeśli na przykład ustawisz wartość 90%, 90% danych będzie używanych na potrzeby zbioru treningowego, a pozostałe 10% zostanie wykorzystane na potrzeby zbioru testowego.
Wykonaj następujące czynności:
- Zmniejsz „Procent danych treningowych” z 50% do 10%.
- Eksperymentuj z tempem uczenia się i rozmiarem wsadu, zapisując wyniki.
Czy zmiana odsetka danych treningowych zmienia optymalne ustawienia uczenia się wykryte w zadaniu 2? Jeżeli tak, dlaczego?
Kliknij ikonę plusa, aby odpowiedzieć na zadanie 1.
Przy tempie uczenia się na poziomie 3 (ustawienie początkowe),
utraty testów są znacznie większe niż w przypadku treningu.
Kliknij ikonę plusa, aby odpowiedzieć na zadanie 2.
Gdy zmniejszysz tempo uczenia się (np.do 0, 001), strata w testach spada do wartości znacznie bliższej utracie trenowania. W większości uruchomień zwiększenie rozmiaru wsadu nie wpływa znacząco na utratę trenowania ani utratę testów. Jednak w przypadku niewielkiego odsetka uruchomień zwiększenie rozmiaru wsadu do 20 lub większej liczby powoduje, że strata w testach spada nieco poniżej poziomu trenowania.
Zbiory danych z Playground są generowane losowo. W związku z tym nasze odpowiedzi
nie zawsze są zgodne z Twoimi.
Kliknij ikonę plusa, aby odpowiedzieć na zadanie 3.
Zmniejszenie wartości procentowej danych treningowych z 50% do 10% znacznie zmniejsza liczbę punktów danych w zbiorze treningowym. Przy tak małej ilości danych duży rozmiar wsadu i duże tempo uczenia się powodują chaotyczne skakanie modelu trenowania (wielokrotne przechodzenie nad punktem minimalnym).
