Ce module porte sur les exigences particulières des modèles entraînés à l'aide de
vecteurs de caractéristiques comportant un grand nombre de dimensions.
Régularisation à des fins de parcimonie
Rappel sur les croisements de caractéristiques
Mise en garde : Les croisements de caractéristiques creuses peuvent provoquer une augmentation considérable de l'espace de caractéristiques.
Problèmes potentiels :
Le modèle peut devenir immense et nécessiter une grande quantité de RAM.
Les coefficients sont "bruités" (risque de surapprentissage).
Régularisation L1
Désir de pénaliser la norme L0 des pondérations
Optimisation non convexe NP-dure
Régularisation L1
Désir de pénaliser la norme L0 des pondérations
Optimisation non convexe NP-dure
Recours à la régularisation L1, plus souple :
Pénalisation de la somme des abs(pondérations)
Problème convexe
Méthode favorisant la parcimonie, contrairement à L2