Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Initialisation du réseau de neurones
Cet exercice utilise à nouveau les données XOR, mais examine la reproductibilité
de l'entraînement des réseaux de neurones
et de l'importance de l'initialisation.
Tâche 1:exécutez le modèle donné quatre ou cinq fois. Avant chaque essai,
appuyez sur le bouton Reset the network (Réinitialiser le réseau) pour obtenir une nouvelle initialisation aléatoire.
Le bouton Réinitialiser le réseau est la flèche circulaire de réinitialisation qui se trouve juste à côté
à gauche du bouton de lecture.) Laissez chaque essai effectuer au moins 500 pas.
pour assurer la convergence. Vers quelle forme la sortie de chaque modèle converge-t-elle ?
Qu'est-ce que cela dit du rôle de l'initialisation dans les environnements non convexes
optimisation ?
Tâche 2:essayez de rendre le modèle légèrement plus complexe en ajoutant une couche
et quelques nœuds supplémentaires. Répétez les essais de la tâche 1. Est-ce que cela
d'ajouter une stabilité aux résultats ?
(Les réponses s'affichent juste en dessous de l'exercice.)
Cliquez sur l'icône Plus pour afficher la réponse à la tâche 1.
Le modèle appris présentait différentes formes à chaque exécution. La convergence
la perte d'évaluation a varié presque deux fois
entre la valeur la plus faible et la plus élevée.
Cliquez sur l'icône Plus pour afficher la réponse à la tâche 2.
L'ajout de la couche et de nœuds supplémentaires a produit des résultats plus reproductibles.
À chaque exécution, le modèle obtenu ressemblait à peu près identique. De plus,
la perte d'évaluation convergée indiquait
moins de variance entre les exécutions.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2024/08/22 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Il n'y a pas l'information dont j'ai besoin","missingTheInformationINeed","thumb-down"],["Trop compliqué/Trop d'étapes","tooComplicatedTooManySteps","thumb-down"],["Obsolète","outOfDate","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Mauvais exemple/Erreur de code","samplesCodeIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2024/08/22 (UTC)."],[[["Neural networks with the same architecture and data can converge to different solutions due to random initialization, highlighting its role in non-convex optimization."],["Increasing the complexity of a neural network by adding layers and nodes can improve the stability and repeatability of training results, leading to more consistent model performance."],["Initialization significantly impacts the final model and the variance in test loss, especially in simpler network structures."],["While simpler networks can exhibit diverse solutions and varying losses, more complex models demonstrate increased stability and repeatable convergence."]]],[]]
