Examen de regularización L2
Este ejercicio contiene un conjunto de datos de entrenamiento pequeño y ruidoso. En este tipo de escenario, el sobreajuste es un problema real. Por suerte, la regularización puede ayudar.
Este ejercicio consta de tres tareas relacionadas. Para simplificar las comparaciones en las tres tareas, ejecuta cada tarea en una pestaña independiente.
- Tarea 1: Ejecuta el modelo especificado al menos 500 ciclos de entrenamiento. Ten en cuenta lo siguiente:
- Pérdida de la prueba.
- El delta entre la pérdida de prueba y la pérdida de entrenamiento.
- Las ponderaciones aprendidas de los atributos y las combinaciones de atributos. (El espesor relativo de cada línea que va de ATRIBUTOS a SALIDA representa la ponderación aprendida para ese atributo o combinación de atributos. Para ver los valores exactos de las ponderaciones, coloca el cursor sobre cada línea).
- Tarea 2: (te recomendamos realizar esta tarea en una pestaña separada) Aumenta la tasa de regularización de 0 a 0.3. Luego, ejecuta el modelo durante al menos 500 ciclos de entrenamiento y encuentra las respuestas a las siguientes preguntas:
- ¿En qué se diferencia la pérdida de prueba en la Tarea 2 de la pérdida de prueba en la Tarea 1?
- ¿En qué se diferencia el delta entre la pérdida de prueba y la pérdida de entrenamiento en la Tarea 2 y en la Tarea 1?
- ¿En qué se diferencian las ponderaciones aprendidas de cada atributo y combinación de atributos de la Tarea 2 a la Tarea 1?
- ¿Qué dicen los resultados sobre la complejidad del modelo?
- Tarea 3: Experimenta con la tasa de regularización, intenta encontrar el valor óptimo.
(Las respuestas aparecen justo debajo del ejercicio).