Nesta seção, vamos definir os elementos básicos das métricas que serão usadas para avaliar os modelos de classificação. Mas primeiro, uma fábula:
Uma fábula de Aesop: The Boy Who Created Wolf (compactada)
Um menino pastando está entediado cuidando do bando da cidade. Para se divertir, ele grita: "Lobo!", mesmo que nenhum lobo esteja visível. Os aldeões correm para proteger o bando, mas ficam muito bravos quando percebem que o menino estava brincando.
[Repetir o parágrafo anterior N vezes].
Uma noite, o menino pastor viu um lobo real se aproximando do bando e chama, "quot;Wolf!" Os vilarejos se recusam a se enganar e permanecem em casa. O lobo faminto transforma o bando em costeletas de cordeiro. A cidade fica faminta. O pânico chega.
Vamos fazer as seguintes definições:
- "Wolf" é uma classe positiva.
- "Sem lobo" é uma classe negativa.
Podemos resumir nosso modelo de previsão e previsão usando uma matriz de confusão 2x2 que representa os quatro resultados possíveis:
Verdadeiro positivo (VP):
|
Falso positivo (FP):
|
Falso negativo (FN):
|
Verdadeiro negativo (VN):
|
Um verdadeiro positivo é um resultado em que o modelo prevê corretamente a classe positiva. Da mesma forma, um verdadeiro negativo é um resultado em que o modelo corretamente prevê a classe negativo.
Um falso positivo é um resultado em que o modelo prevê incorretamente a classe positiva. E um falso negativo é um resultado em que o modelo prevê incorretamente a classe negativa.
Nas seções a seguir, veremos como avaliar modelos de classificação usando métricas derivadas desses quatro resultados.