Zadbaj o dobrą organizację dzięki kolekcji
Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.
Neuronowa inicjalizacja sieci
To ćwiczenie ponownie wykorzystuje dane XOR, ale analizuje powtarzalność
trenowania sieci neuronowych i znaczenia inicjowania.
Zadanie 1. Uruchom model zgodnie z danymi 4 lub 5 razy. Przed każdą wersją próbną
kliknij przycisk Zresetuj sieć, aby otrzymać nowe losowe zainicjowanie.
(Przycisk Zresetuj sieć to okrągła strzałka resetowania) znajdująca się
po lewej stronie przycisku odtwarzania). Pozwól na co najmniej 500 kroków w każdej wersji próbnej
aby zapewnić ich spójność. Do jakiego kształtu są zbieżne dane wyjściowe każdego modelu?
Co to mówi o roli inicjowania w trybie niewypukłym?
i optymalizacji?
Zadanie 2. Spróbuj trochę zwiększyć złożoność modelu, dodając warstwę
i kilka dodatkowych węzłów. Powtórz próby z zadań 1. Czy to
zwiększyć stabilność wyników?
(Odpowiedzi pojawią się tuż pod ćwiczeniem).
Kliknij ikonę plusa, aby uzyskać odpowiedź na zadanie 1.
Przy każdym uruchomieniu poznany model miał inne kształty. Konwersje
straty testu wahały się niemal dwukrotnie od najniższej do najwyższej.
Kliknij ikonę plusa, aby odpowiedzieć na zadanie 2.
Dodanie warstwy i dodatkowych węzłów zapewniło bardziej powtarzalne wyniki.
Przy każdym uruchomieniu model wyglądał mniej więcej tak samo. Ponadto
strata testu zbieżnego wykazała mniejszą rozbieżność między uruchomieniami.
[[["Łatwo zrozumieć","easyToUnderstand","thumb-up"],["Rozwiązało to mój problem","solvedMyProblem","thumb-up"],["Inne","otherUp","thumb-up"]],[["Brak potrzebnych mi informacji","missingTheInformationINeed","thumb-down"],["Zbyt skomplikowane / zbyt wiele czynności do wykonania","tooComplicatedTooManySteps","thumb-down"],["Nieaktualne treści","outOfDate","thumb-down"],["Problem z tłumaczeniem","translationIssue","thumb-down"],["Problem z przykładami/kodem","samplesCodeIssue","thumb-down"],["Inne","otherDown","thumb-down"]],["Ostatnia aktualizacja: 2024-08-22 UTC."],[[["Neural networks with the same architecture and data can converge to different solutions due to random initialization, highlighting its role in non-convex optimization."],["Increasing the complexity of a neural network by adding layers and nodes can improve the stability and repeatability of training results, leading to more consistent model performance."],["Initialization significantly impacts the final model and the variance in test loss, especially in simpler network structures."],["While simpler networks can exhibit diverse solutions and varying losses, more complex models demonstrate increased stability and repeatable convergence."]]],[]]
