De nombreux problèmes nécessitent une estimation de probabilité en sortie. La régression logistique est un mécanisme extrêmement efficace pour calculer les probabilités. En pratique, vous pouvez utiliser la probabilité renvoyée de l'une des deux manières suivantes:
- "en l'état"
- Converti en une catégorie binaire.
Voyons comment nous pourrions utiliser la probabilité "en l'état". Supposons que nous créions un modèle de régression logistique pour prédire la probabilité qu'un chien aboie au milieu de la nuit. Nous appellerons cette probabilité:
\[p(bark | night)\]
Si le modèle de régression logistique prédit \(p(bark | night) = 0.05\), plus d'un an, les propriétaires du chien devraient être réveillés environ 18 fois:
\[\begin{align} startled &= p(bark | night) \cdot nights \\ &= 0.05 \cdot 365 \\ &~= 18 \end{align} \]
Dans de nombreux cas, vous allez mapper la sortie de régression logistique dans la solution à un problème de classification binaire, dans lequel l'objectif est de prédire correctement l'une des deux étiquettes possibles (par exemple, spam, mais pas "spam"). Un autre module le sera plus tard.
Vous vous demandez peut-être comment un modèle de régression logistique peut garantir un résultat toujours compris entre 0 et 1. En l'occurrence, une fonction sigmoïde, définie comme suit, produit un résultat ayant les mêmes caractéristiques:
La fonction sigmoïde génère le graphique suivant:
Figure 1: Fonction sigmoïde
Si \(z\) représente le résultat de la couche linéaire d'un modèle entraîné avec une régression logistique, \(sigmoid(z)\) génère une valeur (probabilité) comprise entre 0 et 1. En termes mathématiques:
où :
- \(y'\) est la sortie du modèle de régression logistique pour un exemple particulier.
- \(z = b + w_1x_1 + w_2x_2 + \ldots + w_Nx_N\)
- Les valeurs \(w\) correspondent aux pondérations apprises par le modèle et \(b\) sont les pondérations.
- Les valeurs \(x\) correspondent aux valeurs des caractéristiques d'un exemple particulier.
Notez que \(z\) est également appelé log-odds, car l'inverse des états sigmoïdes \(z\) peut être défini comme le journal de la probabilité de l'étiquette \(1\) (par exemple, divisé par la probabilité de l'étiquette \(0\)(par exemple, "chien aboie" :
Voici la fonction sigmoïde avec les étiquettes de ML:
Figure 2: Résultat de la régression logistique
Cliquez sur l'icône Plus pour afficher un exemple de calcul d'inférence de régression logistique.
Supposons que nous ayons un modèle de régression logistique avec trois caractéristiques qui ont appris le biais et les pondérations suivants:
$$\begin{align} b &= 1 \\ w_1 &= 2 \\ w_2 &= -1 \\ w_3 &= 5 \end{align} $$Supposons également que les valeurs de caractéristiques suivantes soient utilisées pour un exemple donné:
$$\begin{align} x_1 &= 0 \\ x_2 &= 10 \\ x_3 &= 2 \end{align} $$Par conséquent, le logarithme de probabilité:
sera:
$$(1) + (2)(0) + (-1)(10) + (5)(2) = 1$$Par conséquent, la prédiction de régression logistique pour cet exemple sera de 0,731:
Figure 3: Probabilité de 73,1%