Examen de la regularización L₂

Este ejercicio contiene un conjunto de datos de entrenamiento pequeño y ruidoso. En este tipo de escenario, el sobreajuste es una preocupación real. Afortunadamente, regularización puede ayudar.

Este ejercicio consta de tres tareas relacionadas. Para simplificar las comparaciones en las tres tareas, ejecuta cada una en una pestaña independiente.

• Tarea 1: Ejecuta el modelo especificado al menos 500 ciclos de entrenamiento. Nota lo siguiente:
  • Pérdida de la prueba.
  • El delta entre la pérdida de prueba y la pérdida de entrenamiento.
  • Las ponderaciones aprendidas de los atributos y las combinaciones de atributos (El espesor relativo de cada línea que va de ATRIBUTOS a SALIDA representa el peso aprendido para ese atributo o combinación de atributos. Puedes encontrar los valores exactos del peso colocando el cursor sobre cada línea).
• Tarea 2: (considera realizar esta tarea en una pestaña separada) Aumenta el tasa de regularización de 0 a 0.3. Luego, ejecuta al menos 500 ciclos de entrenamiento y encuentra respuestas a las siguientes preguntas:
  • ¿En qué se diferencian la pérdida de prueba en la Tarea 2 y la pérdida de prueba en la Tarea ¿1?
  • ¿Cómo se relaciona el delta entre la pérdida de prueba y la pérdida de entrenamiento en la Tarea 2 difiere de los de la Tarea 1?
  • ¿Cómo se diferencian las ponderaciones aprendidas de cada atributo y la combinación de atributos? de la Tarea 2 a la Tarea 1?
  • ¿Qué dicen tus resultados sobre la complejidad del modelo?
• Tarea 3: Experimenta con la tasa de regularización, intenta hallar el el valor óptimo.

(Las respuestas aparecen justo debajo del ejercicio).

---

---

Haz clic en el ícono de signo más para obtener las respuestas.

Aumentar la tasa de regularización de 0 a 0.3 produce lo siguiente: efectos:

• La pérdida de prueba se reduce de forma significativa.

  Nota: Si bien la pérdida de prueba se reduce, la pérdida de entrenamiento en realidad aumenta. Esto es normal, ya que agregaste otro a la función de pérdida para penalizar la complejidad. En definitiva, todo eso es importante es la pérdida de prueba, ya que esa es la verdadera medida de la capacidad del modelo para realizar predicciones correctas con los datos nuevos.

• El delta entre la pérdida de prueba y la pérdida de entrenamiento se reduce de forma significativa.
• Las ponderaciones de los atributos y de algunas combinaciones de atributos tienen valores absolutos, lo que implica que la complejidad del modelo es menor.

Dada la aleatoriedad del conjunto de datos, es imposible predecir qué tasa de regularización dio los mejores resultados para ti. Para nosotros, una tasa de regularización de 0.3 o 1 suele generar la pérdida de prueba más baja.