Explorez les options ci-dessous.
Imaginons un modèle linéaire avec 100 caractéristiques d'entrée:
Dix d'entre elles sont hautement informatives.
90 ne sont pas informatives.
Supposons que toutes les caractéristiques aient des valeurs comprises entre -1 et 1.
Parmi les affirmations suivantes, lesquelles sont vraies ?
Suite à la régularisation L1, un grand nombre de pondérations non informatives
seront proches de (mais pas exactement égales à) 0,0.
En général, la régularisation L1 avec un lambda suffisant a tendance à encourager les caractéristiques non informatives à des pondérations exactement égales à 0,0.
Contrairement à la régularisation L2, la régularisation L1 est aussi poussée vers 0,0, quelle que soit la valeur de pondération par rapport à 0.0.
Suite à une régularisation L1, la plupart des pondérations non informatives seront exactement égales à 0,0.
La régularisation L1 d'un lambda suffisant a tendance à encourager les pondérations
non informatives à devenir exactement 0,0. En procédant ainsi, ces caractéristiques non informatives quittent le modèle.
La régularisation L1 peut entraîner une pondération
de 0,0 exactement pour les caractéristiques informatives.
Attention : La régularisation L1 peut entraîner une pondération égale à zéro pour les types de caractéristiques suivants :
Fonctionnalités faiblement informatives.
Caractéristiques fortement informatives à différentes échelles
Caractéristiques informatives fortement corrélées à d'autres caractéristiques informatives similaires