Réduction de la perte : le taux d'apprentissage

Comme nous l'avons vu, un vecteur de gradient comporte à la fois une direction et une magnitude. Les algorithmes de descente de gradient multiplient généralement le gradient par une valeur scalaire appelée taux d'apprentissage (ou parfois pas d'apprentissage) pour déterminer le point suivant. Par exemple, si la magnitude du gradient est de 2,5 et que le taux d'apprentissage est de 0,01, alors l'algorithme de descente de gradient sélectionnera le point suivant situé à une distance de 0,025 du point précédent.

Les hyperparamètres sont les variables pouvant être ajustées par les programmeurs dans les algorithmes de Machine Learning. La plupart des programmeurs spécialisés dans le Machine Learning consacrent une bonne partie de leur temps à ajuster le taux d'apprentissage. Si vous sélectionnez un taux d'apprentissage trop bas, le temps requis pour l'apprentissage sera trop long.

Même courbe en forme de U. De nombreux points sont situés à proximité l'un de l'autre et suggèrent un cheminement très lent vers la base du U.

Figure 6 : Taux d'apprentissage trop bas

Dans le cas contraire, si vous fixez un taux d'apprentissage trop élevé, le point suivant rebondira frénétiquement de part et d'autre du minimum recherché, à la manière d'une expérience de mécanique quantique hors de contrôle :

Même courbe en forme de U. Cette courbe comporte très peu de points. Le cheminement d'un point au suivant survole la base du U en passant d'un côté à l'autre.

Figure 7 : Taux d'apprentissage trop élevé

Il existe un taux d'apprentissage idéal pour chaque problème de régression. Cette valeur dépend de la courbure de la fonction de perte. Si vous savez que le gradient de la fonction de perte est faible, vous pouvez en toute sécurité essayer un taux d'apprentissage plus élevé, ce qui compense le gradient faible et entraîne un pas d'apprentissage plus grand.

Même courbe en forme de U. Le cheminement des points aboutit au point minimal en huit pas environ.

Figure 8 : Taux d'apprentissage adéquat

Envoyer des commentaires concernant…

Cours d'initiation au machine learning