Clasificación: Comprueba tu comprensión (exactitud, precisión, exhaustividad)

Exactitud

Explora las opciones que aparecen a continuación.

¿En cuál de las siguientes situaciones un alto valor de exactitud sugeriría que el modelo de AA está dando buenos resultados?
Un problema médico mortal pero curable afecta al 0.01% de la población. Un modelo de AA usa los síntomas como atributos y predice este problema con una exactitud del 99.99%.
La exactitud es una métrica deficiente aquí. Después de todo, incluso un modelo "tonto" que siempre predice "sin enfermedad" también tendría un 99.99% de exactitud. Predecir por error "sin enfermedad" en una persona que en realidad está enferma podría ser mortal.
Un pollo robot costoso cruza una calle muy transitada mil veces por día. Un modelo de AA evalúa los patrones de tráfico y predice cuándo este pollo puede cruzar la calle de forma segura con una exactitud del 99.99%.
Un valor de exactitud del 99.99% en una calle muy transitada sugiere que el modelo de AA es considerablemente mucho mejor que el azar. Sin embargo, en algunos contextos, el costo de cometer incluso una pequeña cantidad de errores es igualmente muy alto. Una exactitud del 99.99% significa que el costoso pollo deberá reemplazarse, en promedio, cada 10 días. (Es posible que el pollo también cause daños extensos a los autos que golpee).
En el juego de la ruleta, se arroja una bola en una rueda giratoria y esta finalmente cae en una de 38 ranuras. A través de atributos visuales (el giro de la bola, la posición de la ruleta cuando se arroja la bola, la altura de la bola sobre la ruleta), un modelo de AA puede predecir la ranura en la que caerá la bola con una exactitud del 4%.
Este modelo de AA realiza predicciones mucho mejor que el azar; una suposición fortuita sería correcta 1/38 de las veces, lo que produciría una exactitud del 2.6%. Aunque la exactitud del modelo es de "solo" el 4%, los beneficios del éxito compensan en gran medida las desventajas del fracaso.

Precisión

Explora las opciones que aparecen a continuación.

Considera un modelo de clasificación que separe los correos electrónicos en dos categorías: "es spam" o "no es spam". Si aumentas el umbral de clasificación, ¿qué ocurrirá con la precisión?
Indudablemente aumentará.
El aumento del umbral de clasificación generalmente aumenta la precisión; no se garantiza que la precisión aumente de forma monótona a medida que se aumenta el umbral.
Probablemente aumentará.
En general, el aumento del umbral de clasificación reduce los falsos positivos y, por lo tanto, aumenta la precisión.
Probablemente disminuirá.
En general, el aumento del umbral de clasificación reduce los falsos positivos y, por lo tanto, aumenta la precisión.
Indudablemente disminuirá.
En general, el aumento del umbral de clasificación reduce los falsos positivos y, por lo tanto, aumenta la precisión.

Exhaustividad

Explora las opciones que aparecen a continuación.

Considera un modelo de clasificación que separe el correo electrónico en dos categorías: "es spam" o "no es spam". Si aumentas el umbral de clasificación, ¿qué ocurrirá con la recuperación?
Siempre aumentará.
El aumento del umbral de clasificación provocará lo siguiente:
  • El número de verdaderos positivos disminuirá o permanecerá igual.
  • El número de falsos negativos aumentará o permanecerá igual.
Por lo tanto, la exhaustividad nunca aumentará.
Siempre disminuirá o permanecerá igual.
El aumento del umbral de clasificación hará que el número de verdaderos positivos disminuya o permanezca igual, y que el número de falsos negativos aumente o permanezca igual. Por lo tanto, la exhaustividad permanecerá constante o disminuirá.
Siempre permanecerá constante.
El aumento del umbral de clasificación hará que el número de verdaderos positivos disminuya o permanezca igual, y que el número de falsos negativos aumente o permanezca igual. Por lo tanto, la exhaustividad permanecerá constante o disminuirá.

Exactitud y recuperación

Explora las opciones que aparecen a continuación.

Considera dos modelos, A y B, que evalúan el mismo conjunto de datos. ¿Cuál de las siguientes afirmaciones es verdadera?
Si el modelo A tiene mejor precisión que el modelo B, el modelo A es mejor.
Aunque una mejor precisión es buena, es posible que conlleve una gran reducción de la exhaustividad. En general, tenemos que observar la precisión y la exhaustividad en conjunto, o resumir las métricas como AUC (hablaremos sobre eso a continuación).
Si el modelo A tiene mejor exhaustividad que el modelo B, el modelo A es mejor.
Aunque una mejor exhaustividad es buena, es posible que conlleve una gran reducción de la precisión. En general, tenemos que observar la precisión y la exhaustividad en conjunto, o resumir las métricas como AUC (hablaremos sobre eso a continuación).
Si el modelo A tiene mejor precisión y mejor exhaustividad que el modelo B, es probable que el modelo A sea mejor.
En general, es probable que un modelo que tiene mejor rendimiento con respecto a la precisión y la exhaustividad sea el mejor modelo. Desde luego, tenemos que asegurarnos de que la comparación se realice en un punto de precisión/exhaustividad que sea útil en la práctica para que esto tenga sentido. Por ejemplo, supongamos que nuestro modelo de detección de spam necesita tener una precisión del 90% como mínimo para resultar útil y evitar las falsas alarmas innecesarias. En este caso, la comparación de un modelo con {20% de precisión, 99% de exhaustividad} con respecto a otro con {15% de precisión, 98% de exhaustividad} no es particularmente instructivo, ya que ningún modelo cumple con el requisito del 90% de precisión. Pero, con esa advertencia en mente, esta es una buena forma de pensar en comparar modelos cuando se usan precisión y exhaustividad.