Precisão
A precisão tenta responder à seguinte pergunta:
Qual a proporção de identificações positivas estava correta?
A precisão é definida da seguinte maneira:
Vamos calcular a precisão do nosso modelo de ML na seção anterior que analisa tumores:
| Verdadeiros positivos (VPs): 1 | Falsos positivos (FPs): 1 |
| Falsos negativos (FNs): 8 | Verdadeiros negativos (VNs): 90 |
Nosso modelo tem uma precisão de 0,5.Em outras palavras, quando prevê que um tumor é maligno, é correto em 50% do tempo.
Recall
O recall tenta responder à seguinte pergunta:
Qual proporção de positivos verdadeiros foi identificada corretamente?
Matematicamente, o recall é definido da seguinte forma:
Vamos calcular o recall do nosso classificador de tumor:
| Verdadeiros positivos (VPs): 1 | Falsos positivos (FPs): 1 |
| Falsos negativos (FNs): 8 | Verdadeiros negativos (VNs): 90 |
Nosso modelo teve um recall de 0,11.Em outras palavras, identifica corretamente 11% de todos os tumores malignos.
Precisão e recall: um combate
Para avaliar totalmente a eficácia de um modelo, é necessário examinar ambos a precisão e o recall. Infelizmente, a precisão e o recall geralmente estão sobrecarregados. Ou seja, melhorar a precisão geralmente reduz o recall e vice-versa. Explore essa ideia analisando a figura a seguir, que mostra 30 previsões feitas por um modelo de classificação de e-mail. Aquelas à direita do limite de classificação são classificadas como spam, enquanto aquelas à esquerda são classificadas como spam, não.
Figura 1. classificar mensagens de e-mail como spam ou não.
Vamos calcular a precisão e o recall com base nos resultados mostrados na Figura 1:
| Verdadeiros positivos (VP): 8 | Falsos positivos (FP): 2 |
| Falsos negativos (FN): 3 | Verdadeiros negativos (VN): 17 |
A precisão mede a porcentagem de e-mails sinalizados como spam que foram classificados corretamente, ou seja, a porcentagem de pontos à direita da linha de limite que é verde na Figura 1:
O recall mede a porcentagem de e-mails de spam reais que foram classificados corretamente, ou seja, a porcentagem de pontos verdes à direita da linha de limite na Figura 1:
A Figura 2 ilustra o efeito de aumento do limite de classificação.
Figura 2. Aumentar o limite de classificação.
O número de falsos positivos diminui, mas os falsos negativos aumentam. Como resultado, a precisão aumenta, enquanto o recall diminui:
| Verdadeiros positivos (VP): 7 | Falsos positivos (FP): 1 |
| Falsos negativos (FN): 4 | Verdadeiros negativos (VN): 18 |
Por outro lado, a Figura 3 ilustra o efeito de diminuição do limite de classificação (da posição original na Figura 1).
Figura 3. Diminuindo o limite de classificação.
Os falsos positivos aumentam e os falsos negativos diminuem. Como resultado, dessa vez, a precisão diminui e o recall aumenta:
| Verdadeiros positivos (VP): 9 | Falsos positivos (FP): 3 |
| Falsos negativos (FN): 2 | Verdadeiros negativos (VN): 16 |
Diversas métricas foram desenvolvidas que dependem da precisão e do recall. Por exemplo, consulte Pontuação F1.