Zestaw walidacji: inna partycja

W poprzednim module wprowadzono partycjonowanie zbioru danych na zbiór treningowy i testowy. Partycjonowanie umożliwiało trenowanie na jednym zestawie przykładów, a następnie przetestowanie modelu na innym zbiorze przykładów. W przypadku 2 partycji przepływ pracy może wyglądać tak:

Schemat przepływu pracy składający się z 3 etapów. 1. Wytrenuj model na zbiorze treningowym. 2. Ocena modelu na zbiorze testowym. 3. Dostosowanie modelu na podstawie wyników z zestawu testowego. Powtórz punkty 1, 2 i 3, aby ostatecznie wybrać model, który najlepiej sprawdza się na zbiorze testowym.

Rysunek 1. Jak wygląda przepływ pracy?

Na ilustracji „dopracowanie modelu” oznacza modyfikowanie wszystkiego, co Ci się podoba – od zmiany tempa uczenia się przez dodawanie i usuwanie funkcji po zaprojektowanie zupełnie nowego modelu od podstaw. Po zakończeniu tego przepływu pracy wybierasz model, który najlepiej sprawdza się w zbiorze testowym.

Podział zbioru danych na dwa zbiory to dobry pomysł, ale nie jest to panaceum. Możesz znacznie ograniczyć szanse na nadmierne dopasowanie, partycjonując zbiór danych na 3 podzbiory przedstawione na tej ilustracji:

Poziomy pasek podzielony na 3 części: 70% zbiór do trenowania, 15% – zbiór do walidacji, a 15% zbiór testowy

Rysunek 2. Podzielenie pojedynczego zbioru danych na 3 podzbiory.

Za pomocą zestawu do weryfikacji możesz oceniać wyniki ze zbioru treningowego. Następnie użyj zbioru testowego, aby dokładnie sprawdzić ocenę po pomyślnym zakończeniu zestawu weryfikacji przez model. Poniższy rysunek przedstawia nowy przepływ pracy:

Przepływ pracy jest podobny do tego na Rysunku 1. Jedyna różnica jest taka, że zamiast oceniać model na podstawie zbioru testowego, przepływ pracy porównuje go ze zbiorem walidacji. Następnie, gdy zbiór treningowy i walidacja w większym lub mniejszym stopniu zgadzają się z nimi, potwierdź model w zbiorze testowym.

Rysunek 3. Lepszy przepływ pracy.

W tym ulepszonym przepływie pracy:

  1. Wybierz model, który najlepiej sprawdza się w zbiorze walidacji.
  2. Dokładnie sprawdź ten model w zbiorze testowym.

Jest to lepsze rozwiązanie, ponieważ tworzy mniej ekspozycji na zbiór testowy.

Wstecz
Wykład wideo
Dalej
Ćwiczenie z programowania