Taux d'apprentissage et convergence
Cet exercice Playground est le premier d'une série qui en compte plusieurs. Playground est un programme développé spécialement pour ce cours afin d'enseigner les principes du machine learning. Chaque exercice Playground du cours comprend un terrain de jeu intégré avec des préréglages.
Chaque exercice Playground génère un ensemble de données. Le libellé de cet a deux valeurs possibles. Vous pourriez penser à ces deux comme spam ou non spam, ou peut-être "arbres sains" ou "arbres malades". L'objectif de la plupart des exercices est d'ajuster différents hyperparamètres pour créer un modèle qui classe (sépare ou distingue) un étiquette de l'autre. Notez que la plupart des ensembles de données contiennent en raison du bruit qui empêcherait de classer correctement chaque exemple.
Cliquez sur l'icône Plus pour obtenir une explication de la visualisation du modèle.
Chaque exercice Playground affiche une visualisation de l'activité actuelle l'état du modèle. Par exemple, voici une visualisation:
Veuillez noter les points suivants concernant la visualisation du modèle:
- Chaque axe représente une caractéristique spécifique. Dans le cas des spams et des non-spams, les caractéristiques peuvent être le nombre de mots et le nombre de destinataires e-mail.
- Chaque point représente les valeurs des caractéristiques pour un exemple de données : un e-mail.
- La couleur du point représente la classe à laquelle appartient l'exemple. Par exemple, les points bleus peuvent représenter les e-mails légitimes, tandis que les points orange peuvent représenter du spam.
- La couleur d'arrière-plan représente la prédiction du modèle concernant l'endroit où les exemples de cette couleur. Un point bleu sur fond bleu signifie que le modèle prédit correctement cet exemple. À l'inverse, un point bleu sur fond orange signifie que le modèle prédisant à tort cet exemple.
- Les tons bleus et orange d'arrière-plan sont dégradés. Par exemple, le côté gauche de la visualisation est bleue unie, mais passe progressivement au blanc au centre de la visualisation. Vous pouvez considérer l'intensité de la couleur comme une suggestion la confiance du modèle dans son estimation. Le bleu uni signifie que le modèle est très confiant quant à ses estimations. Le bleu clair indique que le modèle est moins confiant. (La visualisation du modèle illustrée dans la figure un mauvais travail de prédiction.)
Utilisez la visualisation pour évaluer la progression de votre modèle. ("Excellent : la plupart des points bleus ont un arrière-plan bleu." ou "Oh non ! Les points bleus ont un arrière-plan orange.") Au-delà des couleurs, Playground affiche également la perte actuelle du modèle sous forme numérique. ("Oh non ! la perte augmente au lieu de diminuer.")
L'interface de cet exercice comporte trois boutons:
| Icône | Nom | Fonction |
|---|---|---|
|
Réinitialiser | Remet les itérations à zéro. Réinitialise les pondérations du modèle déjà apprises. |
|
Étape | Avancez d'une itération. À chaque itération, le modèle change parfois de façon subtile, voire radicale. |
|
Regénérer | Génère un nouvel ensemble de données. Ne réinitialise pas les itérations. |
Dans ce premier exercice sur Playground, vous allez essayer en effectuant deux tâches.
Tâche 1:repérez le menu Taux d'apprentissage en haut à droite de Playground. Le taux d'apprentissage donné (3) est très élevé. Observer comment ce taux d'apprentissage élevé affecte votre modèle en cliquant sur le bouton "Étape" bouton 10 ou 20 fois. Après chaque première itération, notez que le modèle la visualisation change radicalement. Vous pourriez même voir une certaine instabilité après que le modèle semble avoir convergé. Notez également les lignes qui suivent de x1 et x2 à la visualisation du modèle. Les pondérations de ces lignes indiquent la pondération de ces caractéristiques dans le modèle. Autrement dit, une ligne épaisse indique une pondération élevée.
Tâche 2:effectuez les opérations suivantes:
- Appuyez sur le bouton Réinitialiser.
- Réduisez le taux d'apprentissage.
- Appuyez plusieurs fois sur le bouton Pas.
Quel a été l'impact du taux d'apprentissage plus faible sur la convergence ? Examinez à la fois le nombre d'étapes nécessaires à la convergence du modèle, ainsi que le niveau de fluidité et que le modèle converge progressivement. Testez des valeurs encore plus basses du taux d'apprentissage. Trouvez-vous un taux d'apprentissage trop lent pour être utile ? (Vous une discussion juste en dessous de l'exercice.)