Accuratezza
Esplora le opzioni seguenti.
In quale dei seguenti scenari un valore ad alta accuratezza suggerirebbe
che il modello ML sta funzionando bene?
Una condizione medica letale, ma curabile, colpisce lo 0,01% della popolazione. Un modello di ML utilizza sintomi come caratteristiche e prevede
questa afflizione con un'accuratezza del 99,99%.
La precisione è qui una metrica scadente. Dopo tutto, anche un modello "idiota" che prevede sempre "non malato" sarebbe comunque accurato al 99,99%.
Prevedere in modo ingannevole "non malato" per una persona che è effettivamente malata potrebbe essere mortale.
Un costoso pollo robotico attraversa una strada molto trafficata mille volte al giorno. Un modello ML valuta i modelli di traffico e prevede quando questo pollo può attraversare la strada in sicurezza con un'accuratezza del 99,99%.
Un valore di precisione del 99,99% su una strada molto trafficata suggerisce che il modello ML sia di gran lunga migliore del caso. In alcune impostazioni, tuttavia, il costo di fare anche un numero ridotto di errori è comunque troppo elevato.
Una precisione del 99,99% significa che il pollo costoso dovrà essere
sostituito in media ogni 10 giorni. Il pollo potrebbe inoltre causare ingenti danni alle auto che colpisce.
Nel gioco della roulette, una palla viene fatta cadere su una ruota che gira e finisce in una delle 38 slot. Utilizzando caratteristiche visive (il giro della palla, la posizione della ruota quando la palla è caduta, l'altezza della palla sopra la ruota), un modello ML può prevedere lo slot in cui la palla si fermerà con una precisione del 4%.
Questo modello di machine learning rende le previsioni molto migliori del caso; un'ipotesi casuale sarebbe corretta per 1/38 delle volte, con un'accuratezza del 2,6%.
Sebbene la precisione del modello sia "solo" del 4%, i vantaggi del successo superano di gran lunga gli svantaggi dell'errore.
Precisione
Esplora le opzioni seguenti.
Valuta un modello di classificazione che separa le email in due categorie: "spam" o "not spam." Se aumenti la soglia di classificazione, cosa succederà alla precisione?
Sicuramente aumentare.
Aumentando la soglia di classificazione, in genere la precisione aumenta; tuttavia, la precisione non è garantita per aumentare monotonamente l'aumento della soglia.
Probabilmente aumenta.
In generale, l'aumento della soglia di classificazione riduce i falsi positivi, incrementando così la precisione.
Probabilmente diminuisci.
In generale, l'aumento della soglia di classificazione riduce i falsi positivi, incrementando così la precisione.
Sicuramente diminuisce.
In generale, l'aumento della soglia di classificazione riduce i falsi positivi, incrementando così la precisione.
Richiamo
Esplora le opzioni seguenti.
Valuta un modello di classificazione che separa le email in due categorie: "spam" o "not spam." Se aumenti la soglia di classificazione, cosa succederà per ricordare?
Aumenta sempre.
Se aumenti la soglia di classificazione, si verificano entrambi i seguenti problemi:
- Il numero di veri positivi diminuirà o rimarrà lo stesso.
- Il numero di falsi negativi aumenterà o rimarrà invariato.
Diminuisci sempre o resta invariato.
Aumentando la soglia di classificazione, il numero di veri positivi aumenterà o diminuirà, mentre il numero di falsi negativi aumenterà o rimarrà invariato. Pertanto, il richiamo rimarrà costante o diminuirà.
Mantieni sempre costante.
Aumentando la soglia di classificazione, il numero di veri positivi aumenterà o diminuirà, mentre il numero di falsi negativi aumenterà o rimarrà invariato. Pertanto, il richiamo rimarrà costante o diminuirà.
Precisione e richiamo
Esplora le opzioni seguenti.
Prendi in considerazione due modelli, A e B, che valutano ciascuno lo stesso set di dati.
Quale delle seguenti affermazioni è vera?
Se il Modello A ha una precisione migliore rispetto al Modello B, allora il modello A è migliore.
Una migliore precisione è buona, ma potrebbe andare a scapito di una grande riduzione del ricordo. In generale, dobbiamo esaminare insieme la precisione e il richiamo oppure esaminare le metriche di riepilogo come AUC di cui parleremo dopo.
Se il modello A ha un richiamo migliore rispetto al modello B, allora il modello A è migliore.
Un migliore richiamo è positivo, ma potrebbe andare a scapito di una grande riduzione di precisione. In generale, dobbiamo esaminare sia la precisione che il richiamo insieme o le metriche di riepilogo come AUC, di cui parleremo dopo.
Se il modello A ha una precisione e un richiamo migliori rispetto al modello B, probabilmente il modello A è migliore.
In generale, un modello che supera un altro modello sia per la precisione che per il richiamo è probabilmente il modello migliore. Ovviamente, dobbiamo assicurarci che il confronto venga effettuato in un punto di precisione / richiamo che, in pratica, sia utile per essere significativo. Ad esempio, supponiamo che il nostro modello di rilevamento dello spam abbia una precisione di almeno il 90% per essere utile ed evitare falsi allarmi inutili. In questo caso, il confronto tra un modello con una precisione del 20%, un ricordo del 99% e un altro con una precisione del 15% e del 98% non è particolarmente indicativo, in quanto nessuno dei due modelli soddisfa il requisito di precisione del 90%. Tuttavia, Tenendo a mente questo, è un ottimo modo per confrontare i modelli quando si utilizzano precisione e richiamo.