Clasificación: Precisión y exhaustividad

Precisión

La precisión intenta responder a la siguiente pregunta:

¿Qué proporción de identificaciones positivas fue correcta?

La precisión se define de la siguiente manera:

$$\text{Precisión} = \frac{VP}{VP+FP}$$

Calculemos la precisión de nuestro modelo de AA en la sección anterior que analiza tumores:

Verdaderos positivos (VP): 1 Falsos positivos (FP): 1
Falsos negativos (FN): 8 Verdaderos negativos (VN): 90
$$\text{Precision} = \frac{TP}{TP+FP} = \frac{1}{1+1} = 0.5$$

Nuestro modelo tiene una precisión de 0.5, es decir, cuando predice que un tumor es maligno, acierta el 50% de las veces.

Exhaustividad

La exhaustividad intenta responder a la siguiente pregunta:

¿Qué proporción de positivos reales se identificó correctamente?

La exhaustividad se define de la siguiente manera:

$$\text{Exhaustividad} = \frac{VP}{VP+FN}$$

Calculemos la recuperación de nuestro clasificador de tumores:

Verdaderos positivos (VP): 1 Falsos positivos (FP): 1
Falsos negativos (FN): 8 Verdaderos negativos (VN): 90
$$\text{Recall} = \frac{TP}{TP+FN} = \frac{1}{1+8} = 0.11$$

Nuestro modelo tiene una recuperación de 0.11. Es decir, identifica correctamente el 11% de los tumores malignos.

Precisión y exhaustividad: Una lucha incesante

Para evaluar completamente la efectividad de un modelo, debemos examinar la precisión y la recuperación. Lamentablemente, con frecuencia hay tensión entre precisión y exhaustividad. Esto quiere decir que, al mejorar la precisión, generalmente se reduce la exhaustividad, y viceversa. Para explorar esta noción, observa la siguiente figura, que muestra 30 predicciones realizadas con un modelo de clasificación de correo electrónico. Las que se encuentran a la derecha del umbral de clasificación se clasifican como "es spam", mientras que las de la izquierda se clasifican como "no es spam".

Una línea de números del 0 al 1.0 en la que se colocaron 30 ejemplos.

Figura 1. Clasificación de correos electrónicos como "es spam" o "no es spam".

Calculemos la precisión y la exhaustividad en función de los resultados que se muestran en la Figura 1:

Verdaderos positivos (VP): 8 Falsos positivos (FP): 2
Falsos negativos (FN): 3 Verdaderos negativos (VN): 17

La precisión mide el porcentaje de correos electrónicos marcados como spam que se clasificaron correctamente, es decir, el porcentaje de puntos a la derecha de la línea del umbral que aparecen de color verde en la Figura 1:

$$\text{Precisión} = \frac{VP}{VP + FP} = \frac{8}{8+2} = 0.8$$

La exhaustividad mide el porcentaje de correos electrónicos reales que se clasificaron correctamente, es decir, el porcentaje de puntos verdes que aparecen a la derecha de la línea del umbral en la Figura 1:

$$\text{Exhaustividad} = \frac{VP}{VP + FN} = \frac{8}{8 + 3} = 0.73$$

La Figura 2 muestra el efecto de aumentar el umbral de clasificación.

El mismo conjunto de ejemplos, pero con un aumento significativo en el umbral de clasificación. Se volvieron a clasificar 2 de los 30 ejemplos.

Figura 2. Aumento del umbral de clasificación.

El número de falsos positivos disminuye, pero los falsos negativos aumentan. Como resultado, aumenta la precisión, mientras que la exhaustividad disminuye:

Verdaderos positivos (VP): 7 Falsos positivos (FP): 1
Falsos negativos (FN): 4 Verdaderos negativos (VN): 18
$$\text{Precisión} = \frac{VP}{VP + FP} = \frac{7}{7+1} = 0.88$$ $$\text{Exhaustividad} = \frac{VP}{VP + FN} = \frac{7}{7 + 4} = 0.64$$

A la inversa, la Figura 3 muestra el efecto de disminuir el umbral de clasificación (de su posición original en la Figura 1).

El mismo conjunto de ejemplos, pero con una disminución en el umbral de clasificación.

Figura 3. Disminución del umbral de clasificación.

Los falsos positivos aumentan y los falsos negativos disminuyen. Como resultado, esta vez la precisión disminuye y aumenta la exhaustividad:

Verdaderos positivos (VP): 9 Falsos positivos (FP): 3
Falsos negativos (FN): 2 Verdaderos negativos (VN): 16
$$\text{Precisión} = \frac{VP}{VP + FP} = \frac{9}{9+3} = 0.75$$ $$\text{Exhaustividad} = \frac{VP}{VP + FN} = \frac{9}{9 + 2} = 0.82$$

Se han desarrollado diferentes métricas que se basan tanto en la precisión como en la exhaustividad. Por ejemplo, consulta el valor F.

 

Enviar comentarios sobre…

Curso intensivo de aprendizaje automático