Optimiser le taux d'apprentissage

Exercice 1

Sélectionnez un taux d'apprentissage de 0,1 à l'aide du curseur. Appuyez de façon répétée sur le bouton STEP (PAS) jusqu'à ce que l'algorithme de descente de gradient atteigne le point minimal de la courbe de perte. Combien de pas avez-vous effectués ?

Exercice 2

Serait-il possible d'atteindre le point minimal plus rapidement avec un taux d'apprentissage plus élevé ? Sélectionnez un taux d'apprentissage de 1, puis appuyez de façon répétée sur le bouton STEP (PAS) jusqu'à ce que la descente de gradient atteigne le point minimal. Combien de pas avez-vous dû effectuer cette fois ?

Exercice 3

Tentons un taux d'apprentissage encore plus élevé. Réinitialisez la courbe, sélectionnez un taux d'apprentissage de 4, puis tentez d'atteindre le point minimal de la courbe de perte. Que se passe-t-il alors ?

Exercice facultatif

Pouvez-vous trouver le taux d'apprentissage idéal pour cette courbe, pour lequel la descente de gradient atteint le point minimal avec le moins de pas possible ? Quel est le nombre minimal de pas nécessaires pour atteindre le minimum ?

Envoyer des commentaires concernant…

Cours d'initiation au machine learning