Régularisation à des fins de simplicité : testez vos connaissances

Régularisation L2

Examinez les options suivantes.

Imaginons un modèle linéaire avec 100 caractéristiques d'entrée :
  • 10 d'entre elles sont hautement informatives.
  • 90 ne sont pas informatives.
  • Supposons que toutes les valeurs des caractéristiques soient comprises entre -1 et 1. Parmi les affirmations suivantes, lesquelles sont vraies ?
    Suite à une régularisation L2, un grand nombre de pondérations non informatives seront proches de (mais pas exactement égales à) 0,0.
    Oui, la régularisation L2 fait que les pondérations se rapprochent de (mais ne sont pas exactement égales à) 0,0.
    Suite à une régularisation L2, la plupart des pondérations non informatives seront exactement égales à 0,0.
    La régularisation L2 n'oblige pas les pondérations à être exactement égales à 0,0. La régularisation L2 pénalise plus les pondérations élevées que les pondérations faibles. Lorsqu'une pondération se rapproche de 0,0, la régularisation L2 la "pousse" avec moins de force vers 0,0.
    La régularisation L2 peut amener le modèle à apprendre une pondération modérée pour certaines caractéristiques non informatives.
    Il est surprenant de constater que cela peut se produire lorsqu'il existe une corrélation entre une caractéristique non informative et l'étiquette. Dans un tel cas, le modèle "crédite" à tort ces caractéristiques non informatives au lieu des caractéristiques informatives.

    Régularisation L2 et caractéristiques corrélées

    Examinez les options suivantes.

    Imaginons un modèle linéaire comportant deux caractéristiques fortement corrélées dans le sens qu'elles sont pratiquement identiques, mais que l'une des deux contient une petite quantité de bruit aléatoire. Si nous entraînons ce modèle à l'aide d'une régularisation L2, qu'adviendra-t-il des pondérations de ces deux caractéristiques ?
    Les deux caractéristiques auront des pondérations modérées à peu près égales.
    La régularisation L2 obligera les caractéristiques à avoir des pondérations à peu près équivalentes et égales à environ la moitié de la pondération qui aurait été obtenue si une seule des deux caractéristiques avait été présente dans le modèle.
    La pondération de l'une des deux caractéristiques sera élevée, tandis qu'elle sera presque égale à 0,0 pour l'autre.
    La régularisation L2 pénalise plus les pondérations élevées que les pondérations faibles. Par conséquent, même si une pondération commence par diminuer plus vite que l'autre, la régularisation L2 obligera la pondération la plus élevée à diminuer plus rapidement que la pondération la plus faible.
    La pondération de l'une des deux caractéristiques sera élevée, tandis qu'elle sera exactement égale à 0,0 pour l'autre.
    La régularisation L2 oblige rarement les pondérations à être exactement égales à  0,0. À l'inverse, la régularisation L1 (que nous verrons plus tard) oblige les pondérations à être exactement égales à 0,0.

    Envoyer des commentaires concernant…

    Cours d'initiation au machine learning