Inizializzazione rete neurale

Questo esercizio utilizza di nuovo i dati XOR, ma esamina la ripetibilità di addestramento delle reti neurali e l'importanza dell'inizializzazione.

Attività 1: esegui il modello impostandolo quattro o cinque volte. Prima di ogni prova, tocca il pulsante Reimposta la rete per ottenere una nuova inizializzazione casuale. Il pulsante Reimposta la rete è la freccia circolare di reset fino al a sinistra del pulsante Riproduci.) Consenti l'esecuzione di ogni prova per almeno 500 passi garantire la convergenza. A quale forma converga l'output di ciascun modello? Cosa significa questo sul ruolo dell'inizializzazione nei gruppi ottimizzazione?

Attività 2: prova a rendere il modello leggermente più complesso aggiungendo un livello e un paio di nodi aggiuntivi. Ripeti le prove dell'Attività 1. Questa operazione aggiungere ulteriore stabilità ai risultati?

Le risposte vengono visualizzate immediatamente sotto l'esercizio.

---

---

Fai clic sull'icona Più in corrispondenza di una risposta all'attività 1.

Il modello imparato aveva forme diverse a ogni esecuzione. Il convergente la perdita nel test è quasi raddoppiata, dalla più bassa alla più alta.

Fai clic sull'icona Più in corrispondenza di una risposta all'attività 2.

L'aggiunta dello strato e dei nodi aggiuntivi ha prodotto risultati più ripetibili. A ogni esecuzione, il modello risultante sembrava più o meno lo stesso. Inoltre, la perdita di test convergente ha mostrato una varianza minore tra le esecuzioni.