Réduction de la perte : exercice dans Playground

Taux d'apprentissage et convergence

Cet exercice Playground est le premier d'une série qui en compte plusieurs. Playground est un programme développé spécialement pour ce cours afin d'enseigner les principes du Machine Learning.

Chaque exercice Playground génère un ensemble de données. L'étiquette de cet ensemble de données a deux valeurs possibles. Selon votre contexte, cela peut être "spam" ou "fiable", voire "arbres sains" ou "arbres malades". L'objectif de la plupart des exercices est de modifier divers hyperparamètres pour créer un modèle qui classifie (sépare ou distingue) correctement une valeur d'étiquette par rapport à l'autre. Notez que la plupart des ensembles de données contiennent une certaine quantité de bruit qui empêche de classifier correctement chaque exemple.

Pour cet exercice, trois boutons vous sont proposés :

Bouton Nom Fonction
Bouton "Réinitialiser" Réinitialiser Remet les itérations à zéro. Réinitialise les pondérations que le modèle a déjà apprises.
Bouton "Pas" Pas Avance d'une itération. Pour chaque itération, le modèle change (légèrement ou considérablement, selon les cas).
Bouton "Regénérer" Régénérer Génère un nouvel ensemble de données. Ne remet pas les itérations à zéro.

Dans le premier exercice Playground, vous allez effectuer deux tâches pour tester le taux d'apprentissage.

Tâche 1 : repérez le menu Taux d'apprentissage en haut à droite du Playground. Le taux d'apprentissage donné (3) est très élevé. Observez dans quelle mesure ce taux affecte votre modèle en cliquant sur le bouton "Pas" 10 ou 20 fois. Après chaque itération, notez combien la visualisation du modèle change radicalement. Vous pouvez même voir une certaine instabilité après que le modèle semble avoir convergé. Notez également les lignes allant de x1 et x2 vers la visualisation du modèle. Les pondérations de ces lignes indiquent celles des caractéristiques dans le modèle. Par exemple, une ligne épaisse indique une pondération élevée.

Tâche 2 : procédez comme suit :

  1. Appuyez sur le bouton Réinitialiser.
  2. Diminuez le taux d'apprentissage.
  3. Appuyez plusieurs fois sur le bouton "Pas".

Quel a été l'impact de cette diminution du taux sur la convergence ? Examinez à la fois le nombre de pas nécessaires à la convergence du modèle et si ce dernier converge de façon régulière ou non. Procédez à des tests en appliquant des valeurs toujours plus faibles au taux d'apprentissage. Trouvez-vous un taux d'apprentissage trop lent pour être utile ? (N'hésitez pas à consulter également la discussion juste en dessous de l'exercice.)