Régularisation à des fins de parcimonie

Ce module porte sur les exigences particulières des modèles entraînés à l'aide de vecteurs de caractéristiques comportant un grand nombre de dimensions.

Régularisation à des fins de parcimonie

  • Mise en garde : Les croisements de caractéristiques creuses peuvent provoquer une augmentation considérable de l'espace de caractéristiques.
  • Problèmes potentiels :
    • Le modèle peut devenir immense et nécessiter une grande quantité de RAM.
    • Les coefficients sont "bruités" (risque de surapprentissage).
  • Désir de pénaliser la norme L0 des pondérations
    • Optimisation non convexe NP-dure
  • Désir de pénaliser la norme L0 des pondérations
    • Optimisation non convexe NP-dure
  • Recours à la régularisation L1, plus souple :
    • Pénalisation de la somme des abs(pondérations)
    • Problème convexe
    • Méthode favorisant la parcimonie, contrairement à L2