Régularisation à des fins de simplicité : exercice dans Playground

Examen de la régularisation L2

Voici un exercice sur un petit ensemble de données d'apprentissage présentant du bruit. Dans une telle situation, le risque de surapprentissage est bien réel. Heureusement, la régularisation permet de réduire ce risque.

Cet exercice comprend trois tâches. Pour comparer plus facilement ces trois tâches, exécutez chacune d'elles dans un onglet distinct.

  • Tâche 1 : exécutez le modèle fourni pendant au moins 500 périodes. Notez les informations suivantes :
    • Perte d'évaluation
    • Delta entre la perte d'évaluation et la perte d'apprentissage
    • Pondérations apprises des caractéristiques et des croisements de caractéristiques (L'épaisseur relative de chaque ligne qui relie FEATURES (CARACTÉRISTIQUES) à OUTPUT (SORTIE) représente la pondération apprise de la caractéristique ou du croisement de caractéristiques en question. Pour connaître la valeur de pondération exacte, passez la souris sur chaque ligne.)
  • Tâche 2 (à réaliser de préférence dans un onglet distinct) : augmentez le taux de régularisation de 0 à 0,3. Ensuite, exécutez le modèle pendant au moins 500 périodes et répondez aux questions suivantes :
    • Dans quelle mesure la perte d'évaluation de la tâche 2 est-elle différente de celle de la tâche 1 ?
    • Dans quelle mesure le delta entre la perte d'évaluation et la perte d'apprentissage de la tâche 2 est-il différent de celui de la tâche 1 ?
    • Dans quelle mesure les pondérations apprises de chaque caractéristique et croisement de caractéristiques de la tâche 2 sont-elles différentes de celles de la tâche 1 ?
    • Qu'indiquent ces résultats quant à la complexité du modèle ?
  • Tâche 3 : testez différents taux de régularisation pour essayer de trouver la valeur optimale.

(Les réponses s'affichent juste sous l'exercice.)



Envoyer des commentaires concernant…

Cours d'initiation au machine learning