Régularisation à des fins de parcimonie

Ce module porte sur les exigences particulières pour les modèles appris sur des vecteurs de caractéristiques comportant de nombreuses dimensions.

Régularisation à des fins de parcimonie

  • Mise en garde:les croisements de caractéristiques creux peuvent augmenter considérablement l'espace des caractéristiques.
  • Problèmes possibles:
    • Le modèle peut devenir très volumineux (RAM)
    • Coefficients de "bruit" (provoque un surapprentissage)
  • Désir de pénaliser la norme L0 des pondérations
    • Optimisation non convexe NP-dure
  • Désir de pénaliser la norme L0 des pondérations
    • Optimisation non convexe NP-dure
  • Relâchement vis-à-vis de la régularisation L1:
    • Pénaliser la somme de abs(weights)
    • Problème convexe
    • Favorisez la parcimonie, contrairement à L2