Examen de la régularisation L₁

Cet exercice comporte une petite séquence d'entraînement ensemble de données. Dans un contexte de ce type, le surapprentissage est un problème majeur. La régularisation peut aider, mais quelle forme de régularisation ?

Cet exercice comprend cinq tâches connexes. Pour simplifier les comparaisons des cinq tâches, exécutez chacune d'elles dans un onglet distinct. Notez que l'épaisseur des lignes qui relient FEATURES (CARACTÉRISTIQUES) à OUTPUT (SORTIE) représentent les pondérations relatives de chaque caractéristique.

Tâche	Type de régularisation	Taux de régularisation (lambda)
1	B2	0,1
2	B2	0,3
3	B1	0,1
4	B1	0,3
5	B1	test

Questions :

1. Comment se passe le passage d'une régularisation L₂ à une régularisation L₁ influencent le delta entre la perte d'évaluation et la perte d'entraînement ?
2. Comment se passe le passage d'une régularisation L₂ à une régularisation L₁ influencent les pondérations apprises ?
3. Quel est l'impact de l'augmentation du taux de régularisation L₁ (lambda) les pondérations apprises ?

(Les réponses s'affichent juste en dessous de l'exercice.)

---

---

Cliquez sur l'icône Plus pour afficher les réponses.

1. Passage important de la régularisation L₂ à la régularisation L₁ réduit le delta entre la perte d'évaluation et la perte d'entraînement.
2. Le passage d'une régularisation L₂ à une régularisation L₁ réduit toutes les pondérations apprises.
3. L'augmentation du taux de régularisation L₁ diminue généralement les pondérations apprises ; En revanche, si le taux de régularisation devient trop élevé, le modèle ne peut pas converger et les pertes sont très élevées.