Conjunto de validación: Comprueba tu intuición

Antes de comenzar este módulo, considera si existen inconvenientes para usar el proceso de entrenamiento que se describe en Conjuntos de entrenamiento y de prueba.

Explora las opciones que aparecen a continuación.

Observamos un proceso de usar un conjunto de prueba y uno de entrenamiento para impulsar las iteraciones del desarrollo del modelo. En cada iteración, se entrenan los datos de entrenamiento y se evalúan los datos de prueba, y se usan los resultados de la evaluación en los datos de prueba para guiar las elecciones y los cambios de varios hiperparámetros del modelo, como la tasa de aprendizaje y los atributos. ¿Hay algún problema con este enfoque? (Elige solo una respuesta).
No hay problema. Estamos entrenando datos de entrenamiento y evaluando datos de prueba separados y retenidos.
En realidad, hay un pequeño problema aquí. Piensa en lo que podría suceder si hiciéramos muchas iteraciones de esta forma.
Realizar muchas rondas de este procedimiento podría hacer que nos adaptemos implícitamente a las peculiaridades de nuestro conjunto de prueba específico.
¡Por supuesto! Cuanto más a menudo evaluemos un conjunto de prueba determinado, mayor riesgo corremos de sobreajustar de forma implícita ese conjunto de prueba. A continuación, veremos un protocolo más adecuado.
Esto es ineficiente desde el punto de vista informático. Simplemente debemos elegir un conjunto predeterminado de hiperparámetros y adaptarnos a ellos para ahorrar recursos.
Aunque estos tipos de iteraciones son costosos, son una parte fundamental del desarrollo del modelo. La configuración de los hiperparámetros puede marcar una gran diferencia en la calidad del modelo, y siempre debemos presupuestar una cierta cantidad de tiempo y recursos de procesamiento para asegurarnos de obtener la mejor calidad posible.