Regularización para lograr dispersión: Ejercicio de Playground

Tiempo estimado: 8 minutos

Examen de la regularización L₁

Este ejercicio contiene un conjunto de datos de entrenamiento pequeño y ligeramente contaminado. En este tipo de conjunto, el sobreajuste representa un problema real. La regularización puede ayudar, pero ¿qué tipo de regularización?

Este ejercicio consiste en cinco tareas relacionadas. Para simplificar las comparaciones en las cinco tareas, realiza cada tarea en una pestaña independiente. Ten en cuenta que el espesor de las líneas que conectan los ATRIBUTOS con los RESULTADOS representa las ponderaciones relativas de cada atributo.

Tarea	Tipo de regularización	Tasa de regularización (lambda)
1	L2	0.1
2	L2	0.3
3	L1	0.1%
4	L1	0.3
5	L1	experimento

Preguntas:

1. ¿De qué manera el cambio de la regularización L₂ a la L₁ afecta el delta entre la pérdida de prueba y la pérdida de entrenamiento?
2. ¿De qué manera el cambio de la regularización L₂ a la L₁ afecta las ponderaciones aprendidas?
3. ¿De qué manera el aumento de la tasa de regularización L₁ (lambda) afecta las ponderaciones aprendidas?

(Las respuestas se muestran después del ejercicio).

---

---

Haz clic para conocer las respuestas.

1. Cambiar de la regularización L₂ a la L₁ reduce drásticamente el delta entre la pérdida de prueba y la pérdida de entrenamiento.
2. Cambiar de la regularización L₂ a la L₁ disminuye todas las ponderaciones aprendidas.
3. Aumentar la tasa de regularización L₁ generalmente reduce las ponderaciones aprendidas; sin embargo, si la tasa de regularización aumenta demasiado, el modelo no logrará la convergencia y las pérdidas serán muy altas.

 

Centro de ayuda