Regularización para lograr simplicidad: Ejercicio de Playground (¿Uso excesivo de combinaciones?)
Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
¿Uso excesivo de combinaciones?
Antes de mirar el video o leer la documentación, completa este ejercicio que explora el uso excesivo de las combinaciones de atributos.
Tarea 1: Ejecuta el modelo tal como está, con todas las combinaciones de atributos. ¿Hay alguna sorpresa en la forma en que el modelo ajusta los datos?
¿Cuál es el problema?
Tarea 2: Intenta quitar varias combinaciones de atributos para mejorar el rendimiento (si bien solo un poco). ¿Por qué quitar los atributos mejoraría el rendimiento?
(Las respuestas aparecen justo debajo del ejercicio).
Haz clic en el ícono de signo más para obtener la respuesta de la Tarea 1.
Sorprendentemente, el límite de decisión del modelo se ve un poco excéntrico. En particular, hay una región en la parte superior izquierda que se inclina hacia el azul, a pesar de que no hay compatibilidad visible para eso en los datos.
Hay que observar el grosor relativo de las cinco líneas que van desde la ENTRADA hasta la SALIDA.
En las líneas se muestra el peso relativo de los cinco atributos.
Las líneas que salen de X1 y X2 son mucho más gruesas que las que vienen de las combinaciones de atributos. Por lo tanto, las combinaciones de atributos contribuyen mucho menos al modelo que los atributos normales (sin combinar).
Haz clic en el ícono de signo más para obtener la respuesta de la Tarea 2.
Quitar todas las combinaciones de atributos brinda un modelo más razonable (ya no hay un límite curvo que sugiera un sobreajuste) y hace que converja la pérdida de prueba.
Después de 1,000 iteraciones, la pérdida de prueba debe ser de un valor un poco más bajo que cuando las combinaciones de atributos estaban en juego (aunque los resultados pueden variar un poco, según el conjunto de datos).
Los datos en este ejercicio son solo datos lineales más el ruido.
Si usamos un modelo que es demasiado complicado, como uno con demasiadas combinaciones, le damos la oportunidad de ajustarse al ruido en los datos de entrenamiento, a menudo a costa de hacer que el modelo funcione mal con los datos de prueba.
