Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Initialisierung eines neuronalen Netzes
In dieser Übung werden wieder die XOR-Daten verwendet. Dabei wird die Wiederholbarkeit
zum Trainieren neuronaler Netze
und zur Bedeutung der Initialisierung.
Aufgabe 1: Führen Sie das Modell vier- oder fünfmal aus. Vor jedem Test
klicken Sie auf die Schaltfläche Netzwerk zurücksetzen, um eine neue zufällige Initialisierung zu erhalten.
Die Schaltfläche Netzwerk zurücksetzen ist ein kreisförmiger Pfeil, der sich direkt neben der
links neben der Wiedergabetaste.) Jeder Testlauf mindestens 500 Schritte ausführen
um Konvergenz sicherzustellen. Welcher Form konvergiert jede Modellausgabe?
Was sagt dies über die Rolle der Initialisierung bei nicht konvexen
Optimierung?
Aufgabe 2: Versuchen Sie, das Modell etwas komplexer zu machen, indem Sie eine Ebene hinzufügen.
und ein paar zusätzliche Knoten. Wiederholen Sie die Versuche aus Aufgabe 1. Ist das
ob es den Ergebnissen zusätzliche Stabilität gibt?
(Die Antworten werden direkt unter der Übung angezeigt.)
Klicken Sie auf das Plus-Symbol, um eine Antwort auf Aufgabe 1 zu erhalten.
Das erlernte Modell hatte bei jedem Durchlauf unterschiedliche Formen. Die konvergierte
Die Testverluste schwankten vom niedrigsten zum höchsten Wert fast doppelt so hoch.
Klicken Sie auf das Plus-Symbol, um eine Antwort auf Aufgabe 2 zu erhalten.
Das Hinzufügen der Ebene und der zusätzlichen Knoten führte zu mehr wiederholbaren Ergebnissen.
Bei jeder Ausführung sah das Modell ungefähr gleich aus. Außerdem
zeigte der konvergente Testverlust
eine geringere Varianz zwischen den Testläufen.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Benötigte Informationen nicht gefunden","missingTheInformationINeed","thumb-down"],["Zu umständlich/zu viele Schritte","tooComplicatedTooManySteps","thumb-down"],["Nicht mehr aktuell","outOfDate","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Problem mit Beispielen/Code","samplesCodeIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2024-08-22 (UTC)."],[[["Neural networks with the same architecture and data can converge to different solutions due to random initialization, highlighting its role in non-convex optimization."],["Increasing the complexity of a neural network by adding layers and nodes can improve the stability and repeatability of training results, leading to more consistent model performance."],["Initialization significantly impacts the final model and the variance in test loss, especially in simpler network structures."],["While simpler networks can exhibit diverse solutions and varying losses, more complex models demonstrate increased stability and repeatable convergence."]]],[]]
