Clasificación: Exactitud

La exactitud es una métrica para evaluar modelos de clasificación. Informalmente, la exactitud es la fracción de predicciones que el modelo realizó correctamente. Formalmente, la exactitud tiene la siguiente definición:

$$\text{Exactitud} = \frac{\text{Número de predicciones correctas}}{\text{Número total de predicciones}}$$

En la clasificación binaria, la exactitud también se puede calcular en términos de positivos y negativos de la siguiente manera:

$$\text{Exactitud} = \frac{VP+VN}{VP+VN+FP+FN}$$

Donde VP = Verdaderos positivos, VN = Verdaderos negativos, FP = Falsos positivos y FN = Falsos negativos.

Calcularemos la precisión del siguiente modelo, que clasificó 100 tumores como malignos (la clase positiva) o benignos (la clase negativa):

Verdadero positivo (VP):
  • Realidad: Maligno
  • Predicción del modelo de AA: Maligno
  • Número de resultados de VP: 1
Falso positivo (FP):
  • Realidad: Benigno
  • Predicción del modelo de AA: Maligno
  • Número de resultados de FP: 1
Falso negativo (FN):
  • Realidad: Maligno
  • Predicción del modelo de AA: Benigno
  • Número de resultados de FN: 8
Verdadero negativo (VN):
  • Realidad: Benigno
  • Predicción del modelo de AA: Benigno
  • Número de resultados de VN: 90
$$\text{Exactitud} = \frac{VP+VN}{VP+VN+FP+FN} = \frac{1+90}{1+90+1+8} = 0.91$$

La exactitud resulta ser de 0.91 o 91% (91 predicciones correctas de 100 ejemplos totales). Eso significa que nuestro clasificador de tumores está haciendo un buen trabajo en la identificación de malignidades, ¿no es cierto?

De hecho, hagamos un análisis más detallado de los positivos y negativos para conocer mejor el rendimiento de nuestro modelo.

De los 100 ejemplos de tumores, 91 son benignos (90 VN y 1 FP) y 9 son malignos (1 VP y 8 FN).

De los 91 tumores benignos, el modelo identifica correctamente 90 como benignos. Eso es bueno. Sin embargo, de los 9 tumores malignos, el modelo solo identifica correctamente 1 como maligno; este es un resultado terrible, ya que 8 de 9 malignidades no se diagnostican.

Mientras que un 91% de exactitud podría parecer bueno a primera vista, otro modelo de clasificación de tumores que siempre predijera benigno lograría la misma exactitud (91/100 predicciones correctas) en nuestros ejemplos. En otras palabras, nuestro modelo no es mejor que otro que tenga una capacidad predictiva de cero para distinguir tumores malignos de tumores benignos.

La exactitud sola no muestra el panorama completo cuando se trabaja con un conjunto de datos desequilibrados, como este, donde hay una disparidad significativa entre el número de etiquetas positivas y negativas.

En la próxima sección, observaremos dos métricas que resultan mejores para evaluar problemas de clase desequilibrada: precisión y exhaustividad.

 

Enviar comentarios sobre…

Curso intensivo de aprendizaje automático