Découvrez les options ci-dessous.
Imaginez un modèle linéaire avec deux caractéristiques fortement corrélées : c'est-à-dire
ces deux caractéristiques sont des copies presque identiques l'une de l'autre, mais une
contient une petite quantité de bruit aléatoire. Si nous entraînons ceci
avec une régularisation L2, qu'adviendra-t-il des pondérations ?
pour ces deux fonctionnalités ?
Les deux caractéristiques auront des pondérations modérées à peu près égales.
La régularisation L2 obligera les caractéristiques à atteindre
des pondérations à peu près équivalentes
qui correspondent à environ la moitié
il n'y avait qu'une des deux caractéristiques
dans le modèle.
Une caractéristique
aura une pondération importante. l'autre aura une
une pondération de presque 0,0.
La régularisation L2 pénalise davantage les pondérations élevées
que les pondérations faibles. Ainsi, même si un poids commençait à chuter
plus rapide que l'autre, la régularisation L2
ont tendance à faire baisser
plus rapidement la pondération la plus élevée
la pondération la plus faible.
Une caractéristique
aura une pondération importante. l'autre aura une
une pondération exactement égale à 0,0.
La régularisation L2 force rarement
les pondérations à exactement 0,0. En revanche, la régularisation L1
(décrit ultérieurement) oblige les pondérations à être exactement égales à 0,0.