Sprawdź swoją wiedzę: debugowanie modelu

W przypadku poniższych pytań kliknij wybraną opcję, aby rozwinąć i sprawdzić odpowiedź.

Technika modelowania

Ty i Twój przyjaciel, Melo, jesteście jak jednorożce. Lubisz jednorożce? Postanawiasz prognozować ich wygląd, używając ... systemów uczących się. Masz zbiór danych o 10 000 różnych wyglądu. Dla każdego wyglądu zbiór danych zawiera lokalizację, porę dnia, wysokość, temperaturę, wilgotność, gęstość zaludnienia, pokrycie drzewa, obecność tęczy i wiele innych cech.

Chcesz zacząć tworzyć model ML. Która z tych metod jest dobrym sposobem na rozpoczęcie rozwoju?
Jednorożce pojawiają się często o świcie i zmierzchu. Dlatego utwórz obiekt liniowy, korzystając z funkcji „pora dnia”.
Dobra odpowiedź. Warto zacząć od modelu liniowego, który korzysta z jednej lub dwóch funkcji bardzo przewidywalnych.
Przewidywanie wyglądu jednorożca to bardzo trudne zadanie. Dlatego używaj głębokiej sieci neuronowej ze wszystkimi dostępnymi funkcjami.
Źle. Rozpoczęcie od złożonego modelu komplikuje debugowanie.
Zacznij od prostego modelu liniowego, ale użyj wszystkich funkcji, by uzyskać pewność, że prosty model ma moc prognozowaną.
Źle. Jeśli korzystasz z wielu funkcji, nawet w modelu liniowym, wynikowy model jest złożony i trudny do debugowania.

Punkt odniesienia

Korzystając z regresji i średniej wartości błędu kwadratowego (MSE), obliczasz koszt przejazdu taksówką na podstawie czasu trwania, odległości, punktu początkowego i końca. Wiesz już:

  • Średni koszt przejazdu to 15 PLN.
  • Koszty przejazdów wzrosły o stałą kwotę na kilometr.
  • Za przejazdy w centrum miasta pobierana jest dodatkowa opłata.
  • Ceny atrakcji zaczynają się od 3 USD.

Określ, czy wartości bazowe są przydatne.

Czy to przydatny punkt odniesienia: każdy przejazd kosztuje 15 USD.
Tak
Dobra odpowiedź. Średni koszt to przydatny punkt odniesienia.
Nie
Źle. Zawsze przewidywanie średniej wartości powoduje obniżenie wartości MSE niż przewidywanie żadnej innej wartości. Dlatego testowanie modelu na podstawie wartości bazowej daje znaczące porównanie.
Zależy to od standardowego odchylenia kosztów przejazdu.
Źle. Niezależnie od odchylenia standardowego średni koszt przejazdu jest przydatnym punktem odniesienia, ponieważ zawsze przewiduje się niższą średnią wartość MSE w porównaniu z innymi przewidywaniami.
Czy to przydatny punkt odniesienia: wytrenowany model, który używa wyłącznie funkcji czasu trwania i źródła.
Tak
Źle. Wytrenowanego modelu należy używać jako punktu odniesienia dopiero po pełnej weryfikacji modelu w środowisku produkcyjnym. Co więcej, wytrenowany model powinien zostać zweryfikowany w porównaniu z prostszym punktem odniesienia.
Nie
Dobra odpowiedź. Wytrenowanego modelu należy używać jako punktu odniesienia dopiero po pełnej weryfikacji modelu w środowisku produkcyjnym.
Czy to przydatny punkt odniesienia: koszt przejazdu to odległość w kilometrach (w kilometrach) pomnożona przez cenę na kilometr.
Tak
Dobra odpowiedź. Odległość jest najważniejszym czynnikiem podczas określania kosztu przejazdu. Dlatego wartość bazowa oparta na odległości jest przydatna.
Nie
Źle. Odległość jest najważniejszym czynnikiem wpływającym na koszt przejazdu. Dlatego wartość bazowa oparta na odległości jest przydatna.
Czy to przydatny punkt odniesienia: każdy przejazd kosztuje 1 USD. Ponieważ model musi zawsze przekraczać ten punkt odniesienia. Jeśli model nie pobije wartości bazowej, możemy mieć pewność, że występuje w nim błąd.
Tak
Źle. Nie jest to przydatny punkt odniesienia, ponieważ zawsze jest nieprawidłowy. Porównanie modelu z elementem bazowym, który zawsze jest nieprawidłowy, nie ma sensu.
Nie
Dobra odpowiedź. Punkt odniesienia nie jest przydatnym testem modelu.

Hiperparametry

Poniżej znajdziesz pytania dotyczące trenowania klasyfikatora. Wybierz działania, które mogą rozwiązać opisany problem.

Strata trenowania wynosi 0,24, a utrata walidacji – 0,36. Które 2 z tych działań mogą zmniejszyć różnicę między trenowaniem a weryfikacją?
Upewnij się, że zbiory do trenowania i walidacji mają te same właściwości statystyczne.
Dobra odpowiedź. Jeśli zbiory do trenowania i walidacji mają różne właściwości statystyczne, dane treningowe nie pomogą w ich szacowaniu.
Aby uniknąć nadmiernego dopasowania, zastosuj regularizację.
Dobra odpowiedź. Jeśli utrata trenowania jest mniejsza niż utrata walidacji, prawdopodobnie model przewyższa dane treningowe. Regularizacja pozwala uniknąć nadmiernego dopasowania.
Zwiększ liczbę okresów treningowych.
Źle. Jeśli utrata trenowania jest mniejsza niż utrata walidacji, Twój model zwykle przewyższa dane treningowe. Zwiększenie okresów treningowych pozwoli zwiększyć tylko dopasowanie.
Zmniejsz tempo nauki.
Źle. Utrata weryfikacji większa niż utrata trenowania oznacza zwykle przeciążenie. Zmiana tempa nauki nie zmniejsza zbytniego dopasowania.
Wykonujesz odpowiednie czynności opisane w poprzednim pytaniu, a teraz liczba trenowanych i walidacji spada z 1,0 do 0,24 po trenowaniu w wielu okresach. Które z poniższych działań mogą jeszcze bardziej ograniczyć trenowanie?
Zwiększ głębokość i szerokość swojej sieci neuronowej.
Dobra odpowiedź. Jeśli po trenowaniu w wielu okresach utrata trenowania utrzymuje się na poziomie 0,24, model może nie być w stanie przewidzieć możliwości dalszej utraty. Zwiększenie głębokości i szerokości modelu może zapewnić modelowi dodatkową możliwość prognozowania wymaganą do zmniejszania utraty trenowania.
Zwiększ liczbę okresów treningowych.
Źle. Jeśli po trenowaniu w wielu okresach utrata trenowania wyjdzie na poziomie 0,24, dalsze trenowanie modelu prawdopodobnie nie spowoduje znacznego spadku trenowania.
Zwiększenie tempa nauki.
Źle. Biorąc pod uwagę, że utrata okresów treningowych w wielu okresach treningowych nie spadła, zwiększenie tempa nauki prawdopodobnie nie spowoduje zmniejszenia końcowej liczby trenowania. Jeśli zwiększysz częstotliwość uczenia się, może to spowodować niestabilność trenowania i uniemożliwić modelowi naukę danych.
Podejmujesz właściwe działania w poprzednim pytaniu. Strata trenowania modelu spadła do 0,20. Załóżmy, że musisz jeszcze trochę zmniejszyć stratę trenowania trenowania. Dodajesz kilka funkcji, które wyglądają na zaawansowane. Jednak strata trenowania wynosi około 0, 20. Które 3 z poniższych rozwiązań mogą pomóc Ci zmniejszyć stratę treningu?
Zwiększ głębię i szerokość warstw.
Dobra odpowiedź. Twój model może nie być w stanie nauczyć się sygnałów prognozowanych w nowych funkcjach.
Podnieś okresy treningowe.
Źle. Jeśli wahania trenowania modelu zmieniają się około 0,20, zwiększenie liczby okresów treningowych najprawdopodobniej spowoduje wahania trenowania modelu około 0,20.
Te funkcje nie dodają informacji w odniesieniu do istniejących funkcji. Użyj innej funkcji.
Dobra odpowiedź. Możliwe, że sygnały prognozowane przez funkcje już istnieją w używanych przez Ciebie funkcjach.
Zmniejsz tempo nauki.
Dobra odpowiedź. Możliwe, że dodanie nowych funkcji skomplikowało problem. Szczególne wahania w stratach wskazują, że współczynnik nauki jest zbyt wysoki, a model przechodzi do minimum. Obniżenie współczynnika uczenia się pozwoli modelowi nauczyć się minimum.