Classification : testez vos connaissances (justesse, précision, rappel)

Justesse

Examinez les options suivantes.

Quels sont les scénarios pour lesquels une justesse élevée indique que le modèle de Machine Learning fonctionne correctement ?
Une maladie mortelle, mais curable, touche 0,01 % de la population. Un modèle de ML traite les symptômes comme des caractéristiques et prédit cette maladie avec une justesse de 99,99 %.
La justesse n'est pas le critère approprié dans ce cas. Après tout, même un modèle "idiot" prédisant systématiquement "non malade" aurait une exactitude de 99,99 %. Prédire "non malade" de façon erronée pour une personne malade peut être fatal.
Un poulet robotique au coût élevé traverse une rue au trafic très dense mille fois par jour. Un modèle de ML évalue les caractéristiques de la circulation et prédit les moments où le poulet peut traverser la rue en sécurité avec une justesse de 99,99 %.
Une valeur de justesse de 99,99 % pour une rue au trafic important indique de façon probante que le modèle de ML est bien supérieur au hasard. Toutefois, dans certains contextes le coût des erreurs, même en nombre très limité, peut être inacceptable. Une justesse de 99,99 % signifie que le poulet (au coût élevé) devra être remplacé tous les 10 jours en moyenne. (Des dégâts importants seront également causés aux véhicules qui le percuteront.)
Dans le jeu de roulette américaine, une bille est lancée autour d'un plateau en rotation et termine sa course dans l'une des 38 cases disponibles. En se basant sur les caractéristiques visuelles (la rotation de la bille, la position du cylindre à l'instant de son lancer, la hauteur de la bille relativement au cylindre), un modèle de ML peut prédire sa case d'arrivée avec une justesse de 4 %.
Les prédictions de ce modèle de ML sont largement supérieures au hasard, qui donnerait une prédiction correcte une fois sur 38, soit un niveau de justesse de 2,6 %. Même si la justesse de ce modèle est de "seulement" 4 %, chaque réussite offre des avantages compensant largement les désagréments des échecs.

Précision

Examinez les options suivantes.

Imaginons un modèle de classification triant les e-mails selon deux catégories : "spam" et "non spam". Si vous augmentez la valeur du seuil de classification, quel en sera l'impact sur la précision ?
La précision augmentera de façon certaine.
Augmenter la valeur du seuil de classification entraîne généralement une précision accrue ; toutefois, la précision n'augmentera pas de façon monotone si nous continuons d'augmenter la valeur du seuil de classification.
La précision augmentera probablement.
L'augmentation de la valeur du seuil de classification réduit généralement le nombre de faux positifs, ce qui améliore la précision.
La précision diminuera probablement.
L'augmentation de la valeur du seuil de classification réduit généralement le nombre de faux positifs, ce qui améliore la précision.
La précision diminuera de façon certaine.
L'augmentation de la valeur du seuil de classification réduit généralement le nombre de faux positifs, ce qui améliore la précision.

Rappel

Examinez les options suivantes.

Imaginons un modèle de classification triant les e-mails selon deux catégories : "spam" et "non spam". Si vous augmentez la valeur du seuil de classification, quel en sera l'impact sur le rappel ?
Il augmentera systématiquement.
Élever la valeur du seuil de classification aura les deux conséquences suivantes :
  • Le nombre de vrais positifs diminuera ou sera inchangé.
  • Le nombre de faux négatifs augmentera ou sera inchangé.
Le rappel n'augmentera donc jamais.
Il diminuera systématiquement ou restera inchangé.
En cas d'augmentation de la valeur de notre seuil de classification, le nombre de vrais positifs diminue ou reste inchangé et le nombre de faux négatifs diminue ou reste inchangé. Le rappel sera donc identique ou inférieur.
Le rappel ne sera pas modifié.
En cas d'augmentation de la valeur de notre seuil de classification, le nombre de vrais positifs diminue ou reste inchangé et le nombre de faux négatifs diminue ou reste inchangé. Le rappel sera donc identique ou inférieur.

Précision et rappel

Examinez les options suivantes.

Imaginons deux modèles appelés A et B évaluant tous deux le même ensemble de données. Parmi les affirmations suivantes, quelles sont celles qui sont correctes ?
Si le modèle A offre une meilleure précision que le modèle B, le modèle A est le meilleur.
Une précision accrue est souhaitable, mais peut entraîner une diminution conséquente du rappel. Il est généralement préférable de tenir compte de la précision et du rappel simultanément, ou de critères synthétiques comme l'AUC, dont nous parlerons par la suite.
Si le modèle A dispose d'un meilleur rappel que le modèle B, le modèle A est le meilleur.
Un meilleur rappel est souhaitable, mais peut entraîner une diminution conséquente de la précision. Il est généralement préférable de tenir compte de la précision et du rappel simultanément, ou de critères synthétiques comme l'AUC, dont nous parlerons par la suite.
Si le modèle A offre une meilleure précision et un meilleur rappel que le modèle B, le modèle A est probablement le meilleur.
Un modèle aux performances de précision et de rappel supérieures à celle d'un autre modèle est généralement le meilleur modèle. Naturellement, il faut s'assurer que la comparaison porte sur un niveau de précision/rappel utile en pratique pour qu'elle soit significative. Imaginons par exemple que notre modèle de détection de spam doive offrir une précision d'au moins 90 % pour être efficace et éviter les fausses alertes. Dans un tel cas, la comparaison d'un modèle avec {précision = 20 %, rappel = 99 %} et d'un modèle {précision = 15 %, rappel = 98 %} n'a pas grande pertinence puisqu'aucun modèle n'offre les 90 % de précisions requis. Cette réserve émise, c'est un bon moyen de comparer les modèles lorsqu'on souhaite utiliser la précision et le rappel.

Envoyer des commentaires concernant…

Cours d'initiation au machine learning