Régularisation à des fins de parcimonie

Ce module porte sur les exigences particulières des modèles entraînés à l'aide de vecteurs de caractéristiques comportant un grand nombre de dimensions.

Régularisation à des fins de parcimonie

Rappel sur les croisements de caractéristiques

Mise en garde : Les croisements de caractéristiques creuses peuvent provoquer une augmentation considérable de l'espace de caractéristiques.
Problèmes potentiels :

Le modèle peut devenir immense et nécessiter une grande quantité de RAM.
Les coefficients sont "bruités" (risque de surapprentissage).

Régularisation L₁

Désir de pénaliser la norme L₀ des pondérations

Optimisation non convexe NP-dure

Régularisation L₁

Désir de pénaliser la norme L₀ des pondérations

Optimisation non convexe NP-dure

Recours à la régularisation L₁, plus souple :

Pénalisation de la somme des abs(pondérations)
Problème convexe
Méthode favorisant la parcimonie, contrairement à L₂

Exercice de programmation

Régularisation L1

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

Last updated 2020-02-10 UTC.