¿Uso excesivo de combinaciones?

Antes de ver el video o leer la documentación, completa este ejercicio que explora el uso demasiado de las combinaciones de atributos.

Tarea 1: Ejecuta el modelo tal como está, con todo el producto cruzado especificado atributos. ¿Hay sorpresas en la forma en que el modelo ajusta los datos? ¿Cuál es el problema?

Tarea 2: Prueba quitar varias combinaciones de atributos para mejorar rendimiento (aunque solo un poco). ¿Por qué el hecho de quitar funciones mejorar el rendimiento?

(Las respuestas aparecen justo debajo del ejercicio).

---

---

Haz clic en el ícono de signo más para obtener la respuesta de la Tarea 1.

Sorprendentemente, el límite de decisión del modelo parece un poco loco. En particular, hay una región en la parte superior izquierda que se desvanece en azul, aunque no hay compatibilidad visible para eso en los datos.

Hay que observar el grosor relativo de las cinco líneas que van desde la ENTRADA hasta la SALIDA. En las líneas se muestra el peso relativo de los cinco atributos. Las líneas que salen de X₁ y X₂ son mucho más gruesas que los que vienen de las combinaciones de atributos. Entonces, las combinaciones de atributos contribuyen mucho menos al modelo que los atributos normales (sin combinar).

Haz clic en el ícono de signo más para obtener la respuesta de la Tarea 2.

Quitar todas las combinaciones de atributos brinda un modelo más razonable (hay ya no es un límite curvo que sugiere un sobreajuste) y hace converger la pérdida de prueba.

Después de 1,000 iteraciones, la pérdida de prueba debe ser un valor ligeramente inferior que cuando estaban en juego las combinaciones de atributos (aunque los resultados puede variar un poco, según el conjunto de datos).

Los datos en este ejercicio son solo datos lineales más el ruido. Si usamos un modelo que es demasiado complicado, como uno con demasiados le damos la oportunidad de ajustarse al ruido en los datos de entrenamiento a menudo a costa de hacer que el modelo tenga un rendimiento deficiente con los datos de prueba.