Régression logistique : calculer une probabilité

De nombreux problèmes nécessitent un résultat sous forme d'une estimation de probabilité. La régression logistique est un mécanisme extrêmement efficace pour calculer des probabilités. Concrètement, vous pouvez utiliser une telle probabilité de l'une des deux façons suivantes :

  • Telle que
  • Convertie en une catégorie binaire

Voyons comment nous pourrions utiliser la probabilité "telle quelle". Supposons que nous créions un modèle de régression logistique pour prédire la probabilité qu'un chien aboie au milieu de la nuit. Nous appellerons cette probabilité :

  p(bark | night)

Si le modèle de régression logistique prédit une p(bark | night) de 0,05, alors au cours d'une année, le propriétaire du chien devrait être réveillé environ 18 fois :

  startled = p(bark | night) * nights
  18 ~= 0.05 * 365

Dans de nombreux cas, vous ferez correspondre le résultat de la régression logistique dans la solution à un problème de classification binaire, dans lequel l'objectif est de prédire correctement l'une de deux étiquettes possibles (par ex. "courrier indésirable" ou "pas courrier indésirable"). Un module que nous verrons plus tard s'intéresse à cette question.

Vous vous demandez peut-être comment un modèle de régression logistique peut garantir un résultat toujours compris entre 0 et 1. En l'occurrence, une fonction sigmoïde, définie de la façon suivante, produit un résultat ayant les mêmes caractéristiques :

$$y = \frac{1}{1 + e^{-z}}$$

La fonction sigmoïde donne le tracé suivant :

Fonction sigmoïde. L'axe des x est la valeur d'inférence brute. L'axe des y s'étend de 0 à +1, exclus.

Figure 1 : fonction sigmoïde.

Si z représente le résultat de la couche linéaire d'un modèle formé avec la régression logistique, alors le sigmoïde (z) donnera une valeur (une probabilité) entre 0 et 1. En termes mathématiques :

$$y' = \frac{1}{1 + e^{-(z)}}$$

où :

  • y' est le résultat du modèle de régression logistique pour un exemple particulier.
  • z est b + w1x1 + w2x2 + ... wNxN
    • Les valeurs w sont les pondérations apprises par le modèle, et b est le biais.
    • Les valeurs x sont les valeurs des caractéristiques pour un exemple particulier.

Notez que z est également appelé logarithme de probabilité parce que l'inverse du sigmoïde dit que z peut être défini comme le logarithme de la probabilité de l'étiquette "1" (par ex. "le chien aboie") divisé par la probabilité de l'étiquette "0" (par ex. "le chien n'aboie pas") :

$$ z = log(\frac{y}{1-y}) $$

Voici la fonction sigmoïde avec les étiquettes de ML :

La fonction sigmoïde avec l'axe des x étiqueté comme la somme de toutes les pondérations et caractéristiques (plus le biais) ; l'axe des y est étiqueté Résultat de probabilité.

Figure 2 : résultat de la régression logistique.

Envoyer des commentaires concernant…

Cours d'initiation au machine learning