Régression logistique

Au lieu de prédire exactement 0 ou 1, la régression logistique génère une probabilité : une valeur comprise entre 0 et 1, exclusive. Prenons par exemple un modèle de régression logistique pour la détection des e-mails indésirables. Si le modèle déduit une valeur de 0,932 sur un message spécifique, la probabilité que le message soit indésirable s'élève à 93,2 %. Plus précisément, cela signifie que dans la limite d'exemples d'apprentissage infinis, l'ensemble d'exemples pour lequel le modèle prédit 0,932 sera en effet un message indésirable 93,2 % du temps, et ne sera pas indésirable les 6,8 % du temps restants.

Régression logistique

Prédire l'issue de pile ou face ?

  • Imaginons que vous souhaitiez prédire la probabilité d'obtenir Face à pile ou face pour des pièces pliées
  • Vous pourriez utiliser des caractéristiques telles que l'angle de pliage, la masse de la pièce, etc.
  • Quel est le modèle le plus simple que vous pourriez utiliser ?
  • Quels problèmes pourriez-vous rencontrer ?
2 pièces pliées

Régression logistique

  • De nombreux problèmes nécessitent un résultat sous forme d'une estimation de probabilité.
  • Saisissez Régression logistique

Régression logistique

  • De nombreux problèmes nécessitent un résultat sous forme d'une estimation de probabilité.
  • Saisissez Régression logistique
  • Pratique, parce que les estimations de probabilité sont calibrées
    • par exemple, p(la maison sera vendue) * prix = résultat attendu

Régression logistique

  • De nombreux problèmes nécessitent un résultat sous forme d'une estimation de probabilité.
  • Saisissez Régression logistique
  • Pratique, parce que les estimations de probabilité sont calibrées
    • par exemple, p(la maison sera vendue) * prix = résultat attendu
  • Également utile lorsque nous avons besoin d'une classification binaire
    • courrier indésirable ou pas indésirable ? → p(Indésirable)

Régression logistique -- Prédictions

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Où :} \) \(x\text{: Fournit le modèle linéaire familier}\) \(1+e^{-(…)}\text{: Introduit un sigmoïde}\)

Représentation graphique d'une équation logistique

Perte logistique définie

$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

Équation de perte logistique

Régression logistique et régularisation

  • La régularisation est extrêmement importante pour la régression logistique.
    • Souvenez-vous des asymptotes.
    • Elle tentera de réduire la perte à 0 pour les dimensions élevées.

Régression logistique et régularisation

  • La régularisation est extrêmement importante pour la régression logistique.
    • Souvenez-vous des asymptotes.
    • Elle tentera de réduire la perte à 0 pour les dimensions élevées.
  • Deux stratégies sont particulièrement utiles :
    • Régularisation L2 (également appelée dégradation des pondérations L2) : pénalise les pondérations très importantes.
    • Arrêt prématuré : limite les étapes d'apprentissage ou le taux d'apprentissage.

Régression logistique linéaire

  • La régression logistique linéaire est extrêmement efficace.
    • Apprentissage et délais de prédiction très rapides.
    • Les modèles courts et larges utilisent beaucoup de mémoire RAM.

Envoyer des commentaires concernant…

Cours d'initiation au machine learning