Ridurre la perdita: ottimizzare il tasso di apprendimento

Tempo stimato: 15 minuti

Esercizio 1

Imposta una velocità di apprendimento di 0,03 sul dispositivo di scorrimento. Continua a premere il pulsante PASSAGGIO finché l'algoritmo della discesa del gradiente raggiunge il punto minimo della curva della perdita. Quanti passi ha effettuato?

Soluzione

La discesa della sfumatura raggiunge il minimo della curva in 40 passi.

Esercizio 2

Puoi raggiungere il minimo più rapidamente con un tasso di apprendimento più elevato? Imposta una velocità di apprendimento di 0, 1 e continua a premere PASSAGGIO finché la discesa del gradiente non raggiunge il minimo. Quanti passi ha fatto questa volta?

Soluzione

La discesa della sfumatura raggiunge il minimo della curva in 11 passi.

Esercizio 3

Che ne dici di un tasso di apprendimento ancora più elevato? Reimposta il grafico, imposta una velocità di apprendimento pari a 1 e prova a raggiungere il minimo della curva delle perdite. Cosa è successo questa volta?

Soluzione

La discesa della sfumatura non raggiunge mai il minimo. Di conseguenza, i passi aumentano progressivamente di dimensioni. Ogni passaggio salta avanti e indietro nella ciotola, salendo la curva invece che scendere dal basso.

Sfida facoltativa

Riesci a trovare la percentuale di apprendimento Goldilocks per questa curva, in cui la discesa del gradiente raggiunge il punto minimo con il minor numero di passaggi? Qual è il numero minimo di passaggi necessari per raggiungere il minimo?

Soluzione

Il tasso di apprendimento Goldilocks per questi dati è compreso tra 0,2 e 0,3, che raggiungerà il minimo in tre o quattro passaggi.

NOTA: in pratica, trovare una percentuale di apprendimento "perfetta" (o quasi perfetta) non è fondamentale per un addestramento dei modelli efficace. L'obiettivo è trovare un tasso di apprendimento abbastanza grande da far sì che la discesa del gradiente converga in modo efficiente, ma non così grande da non convergere mai.

Centro assistenza