Précision
La précision permet de répondre à la question suivante:
Quelle proportion d'identifications positives était effectivement correcte ?
La précision peut être définie comme suit :
Calculons la précision du modèle de ML que nous avons utilisé dans la section précédente qui analyse les tumeurs:
| Vrais positifs (VP): 1 | Faux positifs (FP): 1 |
| Faux négatifs (FN): 8 | Vrais négatifs (VN): 90 |
Notre modèle a une précision de 0,5.En d'autres termes, lorsqu'il prédit qu'une tumeur est maligne, elle est correcte dans 50% des cas.
Rappel
Le rappel permet de répondre à la question suivante:
Quelle proportion de résultats positifs réels a été identifiée correctement ?
Mathématiquement, le rappel est défini comme suit :
Calculons le rappel pour notre classificateur de tumeurs:
| Vrais positifs (VP): 1 | Faux positifs (FP): 1 |
| Faux négatifs (FN): 8 | Vrais négatifs (VN): 90 |
Notre modèle a un rappel de 0,11.En d'autres termes, il identifie correctement 11% de toutes les tumeurs malignes.
Précision et rappel: un remorqueur de guerre
Pour évaluer entièrement l'efficacité d'un modèle, vous devez examiner à la fois la précision et le rappel. Malheureusement, la précision et le rappel sont souvent en tension. Autrement dit, l'amélioration de la précision réduit généralement le rappel et inversement. Explorez cette notion en examinant la figure suivante, qui montre 30 prédictions effectuées par un modèle de classification des e-mails. Ceux à droite du seuil de classification sont classés comme "spam", tandis que ceux à gauche sont classés comme "non-spam".
Figure 1. Classification des e-mails en tant que spam ou non-spam.
Calculons la précision et le rappel en fonction des résultats de la Figure 1:
| Vrais positifs (VP): 8 | Faux positifs (FP): 2 |
| Faux négatifs (FN): 3 | Vrais négatifs (VN): 17 |
La précision mesure le pourcentage d'e-mails marqués comme spam correctement classés, c'est-à-dire le pourcentage de points situés à droite de la ligne de seuil vertes dans la Figure 1:
Le rappel mesure le pourcentage d'e-mails réels ayant été correctement classés, c'est-à-dire le pourcentage de points verts situés à droite de la ligne de seuil de la figure 1.
La figure 2 illustre l'effet d'une augmentation du seuil de classification.
Figure 2. Augmentation du seuil de classification.
Le nombre de faux positifs diminue, tandis que le nombre de faux négatifs augmente. Par conséquent, la précision augmente, tandis que le rappel diminue:
| Vrais positifs (VP): 7 | Faux positifs (FP): 1 |
| Faux négatifs (FN): 4 | Vrais négatifs (VN): 18 |
À l'inverse, la figure 3 illustre l'effet de la diminution du seuil de classification (par rapport à sa position d'origine dans la figure 1).
Figure 3. Baisse du seuil de classification.
Les faux positifs augmentent et les faux négatifs diminuent. Par conséquent, la précision diminue et le rappel augmente:
| Vrais positifs (VP): 9 | Faux positifs (FP): 3 |
| Faux négatifs (FN): 2 | Vrais négatifs (VN): 16 |
Différentes métriques ont été développées en s'appuyant sur la précision et le rappel. Par exemple, consultez Score F1.