Zestaw walidacji: sprawdź swoją intuicję

Zanim rozpoczniesz ten moduł, zastanów się, czy występują jakieś problemy z korzystaniem z procesu trenowania opisanego w sekcji Treningi i zestawy testowe.

Zapoznaj się z poniższymi opcjami.

Przyjrzeliśmy się procesowi korzystania ze zbioru testowego i treningowego do napędzania iteracji tworzenia modelu. Przy każdej iteracji trenujemy na danych treningowych i oceniamy dane na podstawie danych testowych, korzystając z wyników oceny danych testowych, aby podejmować decyzje o wyborze i modyfikowaniu różnych hiperparametrów modelu, takich jak szybkość uczenia się i cechy. Czy jest coś nie tak? (Wybierz tylko jedną odpowiedź).
W porządku. Trenujemy dane treningowe i oceniamy na podstawie osobnych, przechowywanych danych testowych.
Właściwie to jest tutaj subtelny problem. Zastanów się, co mogłoby się wydarzyć, gdybyśmy wielokrotnie powtarzali ten formularz.
Wykonanie wielu powtórzeń tej procedury może spowodować, że pośrednio będziemy dopasowywać się do charakterystycznych cech naszego zestawu testów.
Tak! Im częściej przeprowadzamy ocenę na danym zestawie testowym, tym większe ryzyko, że zostanie ono sugerujące nadmierne dopasowanie do tego zestawu testowego. Teraz zajmiemy się lepszym protokołem.
Jest to nieefektywne pod względem obliczeniowym. Powinniśmy po prostu wybrać domyślny zestaw hiperparametrów i wykorzystać je, aby zaoszczędzić zasoby.
Chociaż tego rodzaju iteracje są kosztowne, stanowią kluczową część rozwoju modelu. Ustawienia hiperparametrów mogą mieć ogromny wpływ na jakość modelu, dlatego zawsze należy przeznaczyć na to trochę czasu i zasobów obliczeniowych, aby uzyskać najlepszą możliwą jakość.