Ce module montre comment utiliser la régression logistique pour effectuer des tâches de classification et explore les méthodes permettant d'évaluer l'efficacité des modèles de classification.
Classification
Classification et régression
- Nous utilisons parfois la régression logistique pour les résultats de probabilité : on parle lors de régression vers (0, 1).
- Dans d'autres contextes, nous définissons une valeur de seuil pour permettre une classification binaire individuelle.
- Le choix de la valeur de seuil est important et peut être affiné.
Critères d'évaluation : la justesse
- Comment évaluons-nous les modèles de classification ?
Critères d'évaluation : la justesse
- Comment évaluons-nous les modèles de classification ?
- Un critère d'évaluation possible est la justesse.
- C'est la proportion de prédictions correctes.
La justesse peut être trompeuse
- Dans de nombreux contextes, la justesse constitue un critère insatisfaisant, voire trompeur.
- C'est généralement le cas lorsque les coûts associés aux différentes catégories d'erreurs sont eux-mêmes différents.
- Cela se produit notamment en présence de classes déséquilibrées, lorsque les positifs ou les négatifs sont extrêmement rares.
Vrais positifs et faux positifs
- Pour les problèmes de classes déséquilibrées, il est recommandé de distinguer les différents types d'erreurs.
|
Vrais positifs Nous avons crié au loup à juste titre ! Le village est sauvé. |
Faux positifs Erreur : nous avons faussement crié au loup. Tout le village nous en veut. |
|
Faux négatifs Le loup était là, mais nous l'avons raté. Il a dévoré toutes nos poules. |
Vrais négatifs Pas de loup, pas d'alerte. Tout le monde est sain et sauf. |
Critères d'évaluation : précision et rappel
- Précision : (Vrais positifs)/(Tous les positifs prédits)
- Quand le modèle a identifié une classe "positif", était-ce correct ?
- Version intuitive : le modèle a-t-il trop souvent crié au loup ?
Critères d'évaluation : précision et rappel
- Précision : (Vrais positifs)/(Tous les positifs prédits)
- Quand le modèle a identifié une classe "positif", était-ce correct ?
- Version intuitive : le modèle a-t-il trop souvent crié au loup ?
- Rappel : (Vrais positifs)/(Tous les positifs réels)
- Parmi tous les positifs existants, combien le modèle en a-t-il identifié correctement ?
- Version intuitive : combien de loups le modèle a-t-il ratés ?
Lorsque vous aurez terminé l'exercice, appuyez sur le bouton de lecture ▶ pour continuer.
Examinez les options suivantes.
Imaginons un modèle de classification triant les e-mails selon deux catégories :
"spam" et "non spam". Si vous augmentez la valeur du seuil de classification,
quel en sera l'impact sur la précision ?
La précision augmentera de façon certaine.
Augmenter la valeur du seuil de classification entraîne généralement une précision accrue ;
toutefois, la précision n'augmentera pas de façon monotone
si nous continuons d'augmenter la valeur du seuil de classification.
La précision augmentera probablement.
L'augmentation de la valeur du seuil de classification réduit généralement
le nombre de faux positifs, ce qui améliore la précision.
La précision diminuera probablement.
L'augmentation de la valeur du seuil de classification réduit généralement
le nombre de faux positifs, ce qui améliore la précision.
La précision diminuera de façon certaine.
L'augmentation de la valeur du seuil de classification réduit généralement
le nombre de faux positifs, ce qui améliore la précision.
Une courbe ROC
Chaque point représente le taux de vrais positifs et de faux positifs pour un seuil de décision donné.
Critères d'évaluation : l'AUC
- L'AUC désigne l'aire sous la courbe ROC.
Critères d'évaluation : l'AUC
- L'AUC désigne l'aire sous la courbe ROC
- Interprétation :
- Si l'on choisit un positif et un négatif au hasard, quelle est la probabilité pour que mon modèle les classe dans le bon ordre ?
Critères d'évaluation : l'AUC
- L'AUC désigne l'aire sous la courbe ROC
- Interprétation :
- Si l'on choisit un positif et un négatif au hasard, quelle est la probabilité pour que mon modèle les classe dans le bon ordre ?
- Version intuitive : l'AUC mesure la performance générale du modèle en tenant compte de tous les seuils de classification possibles.
Biais de prédiction
- Les prédictions d'une régression logistique ne doivent pas présenter de biais.
- moyenne des prédictions = moyenne des valeurs observées
Biais de prédiction
- Les prédictions d'une régression logistique ne doivent pas présenter de biais.
- moyenne des prédictions = moyenne des valeurs observées
- La présence d'un biais doit être interprétée comme un signal d'alarme.
- L'absence de biais ne suffit pas à prouver que votre système est parfait.
- Mais c'est un très bon signe.
Biais de prédiction (suite)
- La présence d'un biais est symptomatique.
- Votre ensemble de caractéristiques est-il complet ?
- Le pipeline fonctionne-t-il correctement ?
- Vos données d'apprentissage étaient-elles représentatives ?
- N'essayez pas de corriger un biais en ajustant le niveau de calibration : la correction doit s'effectuer au niveau du modèle.
- Recherchez des tranches de données présentant des biais : ceci peut vous aider à améliorer le modèle.
Les tracés de calibrage permettent de détecter des biais dans le groupement des données par classe
