Examen de la régularisation L₂

Cet exercice comporte un petit ensemble de données d'entraînement comportant du bruit. Dans un contexte de ce type, le surapprentissage est un problème majeur. Heureusement, la régularisation peut aider.

Cet exercice comprend trois tâches liées. Pour simplifier les comparaisons des trois tâches, exécutez chacune d'elles dans un onglet distinct.

• Tâche 1:exécutez le modèle fourni pendant au moins 500 époques. Remarque les éléments suivants: <ph type="x-smartling-placeholder">
  </ph>
  • Perte de test.
  • Delta entre la perte d'évaluation et la perte d'entraînement.
  • Pondérations apprises des caractéristiques et des croisements de caractéristiques (Épaisseur relative de chaque ligne allant de FEATURES à OUTPUT) représente la pondération apprise pour cette caractéristique ou ce croisement de caractéristiques. Pour connaître les valeurs de pondération exactes, passez la souris sur chaque ligne.)
• Tâche 2:(Envisagez d'effectuer cette tâche dans un onglet distinct.) Augmentez la valeur un taux de régularisation de 0 à 0,3. Ensuite, exécutez la pour au moins 500 époques, et obtenez des réponses aux questions suivantes: <ph type="x-smartling-placeholder">
  </ph>
  • En quoi la perte d'évaluation de la tâche 2 diffère-t-elle de la perte d'évaluation de la tâche 2 ? 1?
  • Quel est le delta entre la perte d'évaluation et la perte d'entraînement dans la tâche 2 ? diffère-t-elle de celle de la tâche 1 ?
  • En quoi les pondérations apprises de chaque caractéristique et croisement de caractéristiques diffèrent-elles ? de la tâche 2 à la tâche 1 ?
  • Que disent vos résultats de la complexité du modèle ?
• Tâche 3:testez différents taux de régularisation pour essayer de trouver la la valeur optimale.

(Les réponses s'affichent juste en dessous de l'exercice.)

---

---

Cliquez sur l'icône Plus pour afficher les réponses.

Si vous augmentez le taux de régularisation de 0 à 0,3, vous obtenez les résultats suivants : effets:

• La perte de test baisse considérablement.

  Remarque: la perte d'évaluation diminue, mais la perte d'entraînement augmente. C'est normal, car vous en avez ajouté un autre à la fonction de perte pour pénaliser la complexité. En fin de compte, tout ce est la perte d'évaluation, car c'est la véritable mesure de la capacité du modèle faire de bonnes prédictions à partir de nouvelles données.

• Le delta entre la perte d'évaluation et la perte d'entraînement diminue considérablement.
• Les pondérations des caractéristiques et de certains croisements de caractéristiques ont une pondération des valeurs absolues, ce qui implique que la complexité du modèle diminue.

Étant donné le caractère aléatoire de l'ensemble de données, il est impossible de prédire le taux de régularisation qui a produit les meilleurs résultats. Pour nous, un taux de régularisation de 0,3 ou 1 produit généralement la perte d'évaluation la plus faible.