Régularisation à des fins de parcimonie

Ce module porte sur les exigences particulières des modèles entraînés à l'aide de vecteurs de caractéristiques comportant un grand nombre de dimensions.

Régularisation à des fins de parcimonie

Rappel sur les croisements de caractéristiques

  • Mise en garde : Les croisements de caractéristiques creuses peuvent provoquer une augmentation considérable de l'espace de caractéristiques.
  • Problèmes potentiels :
    • Le modèle peut devenir immense et nécessiter une grande quantité de RAM.
    • Les coefficients sont "bruités" (risque de surapprentissage).

Régularisation L1

  • Désir de pénaliser la norme L0 des pondérations
    • Optimisation non convexe NP-dure

Régularisation L1

  • Désir de pénaliser la norme L0 des pondérations
    • Optimisation non convexe NP-dure
  • Recours à la régularisation L1, plus souple :
    • Pénalisation de la somme des abs(pondérations)
    • Problème convexe
    • Méthode favorisant la parcimonie, contrairement à L2

Envoyer des commentaires concernant…

Cours d'initiation au machine learning