Classification : ROC et AUC

Courbe ROC

Une courbe ROC (receiver operating characteristic) est un graphique représentant les performances d'un modèle de classification pour tous les seuils de classification. Cette courbe trace le taux de vrais positifs en fonction du taux de faux positifs :

  • Taux de vrais positifs
  • Taux de faux positifs

Le taux de vrais positifs (TVP) est l'équivalent du rappel. Il est donc défini comme suit :

$$TVP = \frac{VP} {VP + FN}$$

Le taux de faux positifs (TFP) est défini comme suit :

$$TFP = \frac{FP} {FP + VN}$$

Une courbe ROC trace les valeurs TVP et TFP pour différents seuils de classification. Diminuer la valeur du seuil de classification permet de classer plus d'éléments comme positifs, ce qui augmente le nombre de faux positifs et de vrais positifs. La figure ci-dessous représente une courbe ROC classique.

La courbe ROC présente un tracé représentant le rapport entre le taux de VP et le taux de FP pour différents seuils de classification.

Figure 4 : Taux de VP et de FP pour différents seuils de classification

Pour calculer les points d'une courbe ROC, nous pourrions effectuer plusieurs évaluations d'un modèle de régression logistique en variant les seuils de classification, mais ce serait inefficace. Nous pouvons en revanche calculer efficacement l'aire sous cette courbe, ou AUC, grâce à un algorithme de tri. .

AUC : aire sous la courbe ROC

AUC signifie "aire sous la courbe ROC". Cette valeur mesure l'intégralité de l'aire à deux dimensions située sous l'ensemble de la courbe ROC (par calculs d'intégrales) de (0,0) à (1,1).

AUC (aire sous la courbe ROC).

Figure 5 : AUC (aire sous la courbe ROC).

L'AUC fournit une mesure agrégée des performances pour tous les seuils de classification possibles. On peut interpréter l'AUC comme une mesure de la probabilité pour que le modèle classe un exemple positif aléatoire au-dessus d'un exemple négatif aléatoire. Par exemple, avec les exemples suivants, disposés de gauche à droite par ordre croissant de prédictions par régression logistique :

Exemples positifs et négatifs classés par ordre croissant de score de régression logistique

Figure 6 : Prédictions classées par ordre croissant de score de régression logistique

L'AUC représente la probabilité pour qu'un exemple positif aléatoire (vert) soit placé à droite d'un exemple négatif aléatoire (rouge).

Les valeurs d'AUC sont comprises dans une plage de 0 à 1. Un modèle dont 100 % des prédictions sont erronées a un AUC de 0,0. Si toutes ses prédictions sont correctes, son AUC est de 1,0.

L'AUC présente les avantages suivants :

  • L'AUC est invariante d'échelle. Elle mesure la qualité du classement des prédictions, plutôt que leurs valeurs absolues.
  • L'AUC est indépendante des seuils de classification. Elle mesure la qualité des précisions du modèle quel que soit le seuil de classification sélectionné.

Toutefois, ces deux avantages comportent des limites qui peuvent réduire la pertinence de l'AUC dans certains cas d'utilisation.

  • L'invariance d'échelle n'est pas toujours souhaitable. Par exemple, nous avons parfois besoin d'obtenir des probabilités précisément calibrées, ce que l'AUC ne permet pas de déterminer. .

  • L'indépendance vis-à-vis des seuils de classification n'est pas toujours souhaitable. Lorsque des disparités importantes de coût existent entre les faux négatifs et les faux positifs, il peut être essentiel de minimiser l'un des types d'erreur de classification. Par exemple, dans un contexte de détection de spam il sera probablement préférable de minimiser en priorité les faux positifs (même si cela entraîne une augmentation significative des faux négatifs). L'AUC n'est pas un critère à retenir pour ce type d'optimisation.

Envoyer des commentaires concernant…

Cours d'initiation au machine learning