Régularisation à des fins de simplicité : lambda

Les développeurs de modèles ajustent l'effet global du facteur de régularisation en multipliant sa valeur par une grandeur scalaire appelée lambda (ou taux de régularisation). Ils cherchent à obtenir le résultat suivant :

$$\text{minimiser(Perte(Données|Modèle)} + \lambda \text{ complexité(Modèle))}$$

La régularisation L2 a les effets suivants sur un modèle :

  • Les valeurs des pondérations se rapprochent de (mais ne sont pas exactement égales à) zéro.
  • La moyenne des pondérations tend vers zéro, avec une distribution normale (en cloche ou gaussienne).

L'augmentation du lambda renforce les effets de la régularisation. Par exemple, l'histogramme des pondérations avec un lambda élevé peut ressembler à la figure 2.

Histogramme des pondérations d'un modèle ayant une moyenne égale à zéro et une distribution normale

Figure 2 : Histogramme des pondérations

La réduction du lambda a tendance à donner un histogramme plus plat, comme illustré dans la figure 3.

Histogramme des pondérations d'un modèle ayant une moyenne égale à zéro et se situant entre une distribution plate et normale

Figure 3 : Histogramme des pondérations avec un lambda plus faible

Le lambda choisi doit permettre d'obtenir un juste équilibre entre simplicité et efficacité d'apprentissage :

  • Si le lambda est trop élevé, le modèle sera simple, mais il présentera un risque de sous-apprentissage des données. Le modèle n'en apprendra pas suffisamment sur les données d'apprentissage pour réaliser des prédictions utiles.

  • Si le lambda est trop faible, le modèle sera plus complexe, et il présentera un risque de surapprentissage des données. Le modèle apprendra trop sur les spécificités des données d'apprentissage, et il ne pourra pas généraliser celles-ci à de nouvelles données.

Le lambda idéal produit un modèle qui effectue une généralisation efficace en cas de nouvelles données qui n'étaient pas visibles précédemment. Le lambda idéal dépend des données, vous devez donc malheureusement procéder à des réglages.