Régularisation à des fins de parcimonie : exercice dans Playground

Examen de la régularisation L1

Voici un exercice sur un petit ensemble de données d'apprentissage présentant du bruit. Dans une telle situation, le risque de surapprentissage est bien réel. La régularisation permet de réduire ce risque, mais quelle méthode choisir ?

Cet exercice est composé de cinq tâches liées. Pour comparer plus facilement ces cinq tâches, exécutez chacune d'elles dans un onglet distinct. Remarquez que l'épaisseur des lignes qui relient FEATURES (CARACTÉRISTIQUES) à OUTPUT (SORTIE) représente les pondérations relatives de chaque caractéristique.

Tâche Type de régularisation Taux de régularisation (lambda)
1 L2 0,1
2 L2 0,3
3 L1 0,1
4 L1 0,3
5 L1 à tester

Questions :

  1. Quelle incidence le passage d'une régularisation L2 à une régularisation L1 a-t-il sur le delta entre la perte d'évaluation et la perte d'apprentissage ?
  2. Quel effet le passage d'une régularisation L2 à une régularisation L1 a-t-il sur les pondérations apprises ?
  3. Quel effet l'augmentation du taux de régularisation L1 a-t-elle sur les pondérations apprises ?

(Les réponses s'affichent juste sous l'exercice.)