Régularisation à des fins de parcimonie: exercice dans Playground

Durée estimée:8 minutes

Examen de la régularisation L₁

Cet exercice contient un petit ensemble de données d'entraînement légèrement bruyant. Dans ce genre de situation, le surapprentissage est un réel problème. La régularisation peut aider, mais quelle forme ?

Cet exercice comprend cinq tâches connexes. Pour comparer plus facilement les cinq tâches, exécutez chacune d'elles dans un onglet distinct. Notez que l'épaisseur des lignes qui relient FEATURES (CARACTÉRISTIQUES) à OUTPUT (SORTIE) représente les pondérations relatives de chaque caractéristique.

Tâche	Type de régularisation	Taux de régularisation (lambda)
1	L2	0,1
2	L2	0.3
3	L1	0,1
4	L1	0.3
5	L1	test

Questions :

1. Comment le passage d'une régularisation L₂ à une régularisation L₁ influence-t-il le delta entre la perte d'évaluation et la perte d'entraînement ?
2. Quel est l'impact du passage d'une régularisation L₂ à une régularisation L₁ sur les pondérations apprises ?
3. Quel est l'impact de l'augmentation du taux de régularisation L₁ sur les pondérations apprises ?

(Les réponses s'affichent juste en dessous de l'exercice.)

---

---

Cliquez sur l'icône Plus pour afficher les réponses.

1. Le passage d'une régularisation L₂ à une régularisation L₁ réduit considérablement le delta entre la perte d'évaluation et la perte d'entraînement.
2. Le passage d'une régularisation L₂ à une régularisation L₁ amort toutes les pondérations apprises.
3. En général, l'augmentation du taux de régularisation L₁ modère les pondérations apprises. Toutefois, si le taux de régularisation devient trop élevé, le modèle ne peut pas converger et les pertes sont très élevées.

 

Centre d'aide