Régression linéaire: exercice de descente de gradient

Dans cet exercice, vous allez revenir sur le graphique des données d'efficacité énergétique de l'exercice sur les paramètres. Mais cette fois, vous utiliserez la descente de gradient pour apprendre les valeurs de pondération et de biais optimales pour un modèle linéaire qui minimise la perte.

Effectuez les trois tâches sous le graphique.

Cette visualisation interactive peut produire des images clignotantes lorsqu'elle est définie sur un taux d'apprentissage élevé, ce qui peut affecter les personnes photosensibles.

Tâche 1 : Ajustez le curseur Taux d'apprentissage sous le graphique pour définir un taux d'apprentissage de 0,03. Cliquez sur le bouton Démarrer pour exécuter la descente de gradient.

Combien de temps faut-il pour que l'entraînement du modèle converge (atteigne une valeur de perte minimale stable) ? Quelle est la valeur MSE à la convergence du modèle ? Quelles valeurs de poids et de biais produisent cette valeur ?

Cliquez sur l'icône Plus pour consulter notre solution.

Lorsque nous avons défini un taux d'apprentissage de 0,03, le modèle a convergé en environ 30 secondes, atteignant une MSE de 2,67 avec des valeurs de pondération et de biais de -1,14 et 20,389, respectivement. Cela indique que nous avons choisi une bonne valeur de taux d'apprentissage.

Tâche 2 : Cliquez sur le bouton Réinitialiser sous le graphique pour réinitialiser les valeurs de poids et de biais dans le graphique. Ajustez le curseur Taux d'apprentissage sur une valeur d'environ 1.10e^–5. Cliquez sur le bouton Démarrer pour exécuter la descente de gradient.

Que remarquez-vous concernant le temps nécessaire à l'entraînement du modèle pour converger cette fois-ci ?

Cliquez sur l'icône Plus pour afficher la solution.

Après plusieurs minutes, l'entraînement du modèle n'a toujours pas convergé. De petites mises à jour des valeurs de poids et de biais continuent d'entraîner des valeurs de perte légèrement inférieures. Cela suggère que le choix d'un taux d'apprentissage plus élevé permettrait à la descente de gradient de trouver plus rapidement les valeurs optimales de pondération et de biais.

Tâche 3 : Cliquez sur le bouton Réinitialiser sous le graphique pour réinitialiser les valeurs de poids et de biais dans le graphique. Réglez le curseur Taux d'apprentissage sur 1. Cliquez sur le bouton Démarrer pour exécuter la descente de gradient.

Que se passe-t-il pour les valeurs de perte lorsque la descente de gradient s'exécute ? Combien de temps l'entraînement du modèle prendra-t-il pour converger cette fois-ci ?

Cliquez sur l'icône Plus pour afficher la solution.

Les valeurs de perte fluctuent énormément à des valeurs élevées (MSE supérieur à 300). Cela indique que le taux d'apprentissage est trop élevé et que l'entraînement du modèle n'atteindra jamais la convergence.