Clasificación: Comprueba tu comprensión (ROC y AUC)

ROC y AUC

Explora las opciones que aparecen a continuación.

¿Cuál de las siguientes curvas de ROC producen valores de AUC mayores que 0.5?
Una curva ROC con una línea horizontal que va de (0.0) a (0.1) y otra de (0.1) a (1.1).La tasa de VP es 1.0 para todas las tasas de FP

Esta es la mejor curva ROC posible, debido a que clasifica todos los positivos por encima de todos los negativos. Tiene un AUC de 1.0.

En la práctica, si tienes un clasificador "perfecto" con un AUC de 1.0, debes ser suspicaz, ya que es probable que indique un error en tu modelo. Por ejemplo, es posible que hayas realizado un sobreajuste en los datos de entrenamiento o que los datos de las etiquetas estén replicados en uno de los atributos.

Una curva ROC con una línea horizontal que va de (0.0) a (1.0) y otra de (1.0) a (1.1).La tasa de FP es 1.0 para todas las tasas de VP
Esta es la peor curva ROC posible; clasifica todos los negativos por encima de todos los positivos y tiene un AUC de 0.0. Si revirtieras cada predicción (si cambiaras los negativos por positivos y los positivos por negativos), de hecho tendrías un clasificador perfecto.
Una curva ROC con una línea diagonal que va de (0.0) a (1.1).Las tasas de VP y FP aumentan de forma lineal en la misma tasa.
Esta curva ROC tiene un AUC de 0.5, lo que significa que clasifica un ejemplo positivo aleatorio más alto que un ejemplo negativo aleatorio el 50% de las veces. De este modo, el modelo de clasificación correspondiente básicamente no tiene utilidad, ya que su capacidad predictiva no es mejor que adivinar al azar.
Una curva ROC que forma un arco hacia arriba y a la derecha de (0.0) a (1.1). La tasa de VP aumenta más rápidamente que la tasa de FP.
Esta curva ROC tiene un AUC de entre 0.5 y 1.0, lo que significa que clasifica un ejemplo positivo aleatorio más alto que un ejemplo negativo aleatorio más del 50% de las veces. Los valores de AUC de clasificación binaria en el mundo real generalmente entran en este rango.
Una curva ROC que forma un arco a la derecha y hacia arriba de (0.0) a (1.1).La tasa de FP aumenta más rápidamente que la tasa de VP.
Esta curva ROC tiene un AUC de entre 0 y 0.5, lo que significa que clasifica un ejemplo positivo aleatorio más alto que un ejemplo negativo aleatorio menos del 50% de las veces. El modelo correspondiente en realidad tiene peor rendimiento que adivinar al azar. Si observas una curva ROC como esta, es probable que indique que hay un error en tus datos.

AUC y ajuste de predicciones

Explora las opciones que aparecen a continuación.

¿Cómo cambiaría el rendimiento de un modelo determinado al multiplicar todas las predicciones por 2.0 (por ejemplo, si el modelo predice 0.4, se multiplica por 2.0 para obtener una predicción de 0.8) según la medición del AUC?
No tendría cambios. El AUC solo se ocupa de las clasificaciones de predicciones relativas.
Sí, el AUC se basa en las predicciones relativas, por lo que cualquier transformación de las predicciones que preserve la clasificación relativa no tendría efecto en el AUC. Claramente, este no es el caso para otras métricas, como el error cuadrático, la pérdida logística o el sesgo de predicción (que se analizan más adelante).
Haría que el AUC fuera muy malo, debido a que los valores de predicción ahora están muy alejados.
Curiosamente, aunque los valores de predicción son diferentes (y probablemente están lejos de ser verdaderos), al multiplicarlos todos por 2.0, el orden relativo de los valores de predicción se mantendría igual. Debido a que el AUC solo se ocupa de las clasificaciones relativas, no se ve impactado por un ajuste simple de las predicciones.
Mejoraría el AUC, porque los valores de predicción están todos más alejados.
La magnitud de dispersión entre las predicciones no tiene un impacto real en el AUC. Incluso una evaluación de predicción de un verdadero positivo obtenido al azar es solo una pequeña épsilon mayor que un negativo obtenido al azar, eso contará como un éxito que contribuye a la evaluación general del AUC.

Enviar comentarios sobre…

Curso intensivo de aprendizaje automático