Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Inizializzazione rete neurale
Questo esercizio utilizza di nuovo i dati XOR, ma esamina la ripetibilità
di addestramento delle reti neurali e l'importanza dell'inizializzazione.
Attività 1: esegui il modello impostandolo quattro o cinque volte. Prima di ogni prova,
tocca il pulsante Reimposta la rete per ottenere una nuova inizializzazione casuale.
Il pulsante Reimposta la rete è la freccia circolare di reset fino al
a sinistra del pulsante Riproduci.) Consenti l'esecuzione di ogni prova per almeno 500 passi
garantire la convergenza. A quale forma converga l'output di ciascun modello?
Cosa significa questo sul ruolo dell'inizializzazione nei gruppi
ottimizzazione?
Attività 2: prova a rendere il modello leggermente più complesso aggiungendo un livello
e un paio di nodi aggiuntivi. Ripeti le prove dell'Attività 1. Questa operazione
aggiungere ulteriore stabilità ai risultati?
Le risposte vengono visualizzate immediatamente sotto l'esercizio.
Fai clic sull'icona Più in corrispondenza di una risposta all'attività 1.
Il modello imparato aveva forme diverse a ogni esecuzione. Il convergente
la perdita nel test è quasi raddoppiata, dalla più bassa alla più alta.
Fai clic sull'icona Più in corrispondenza di una risposta all'attività 2.
L'aggiunta dello strato e dei nodi aggiuntivi ha prodotto risultati più ripetibili.
A ogni esecuzione, il modello risultante sembrava più o meno lo stesso. Inoltre,
la perdita di test convergente ha mostrato una varianza minore tra le esecuzioni.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Mancano le informazioni di cui ho bisogno","missingTheInformationINeed","thumb-down"],["Troppo complicato/troppi passaggi","tooComplicatedTooManySteps","thumb-down"],["Obsoleti","outOfDate","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Problema relativo a esempi/codice","samplesCodeIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2024-08-22 UTC."],[[["Neural networks with the same architecture and data can converge to different solutions due to random initialization, highlighting its role in non-convex optimization."],["Increasing the complexity of a neural network by adding layers and nodes can improve the stability and repeatability of training results, leading to more consistent model performance."],["Initialization significantly impacts the final model and the variance in test loss, especially in simpler network structures."],["While simpler networks can exhibit diverse solutions and varying losses, more complex models demonstrate increased stability and repeatable convergence."]]],[]]
