Examen de la regularización L₁

Este ejercicio contiene una capacitación pequeña y un poco ruidosa conjunto de datos. En este tipo de escenario, el sobreajuste es una preocupación real. La regularización puede ayudar, pero ¿qué tipo de regularización?

Este ejercicio consta de cinco tareas relacionadas. Para simplificar las comparaciones en las cinco tareas, ejecuta cada una en una pestaña independiente. Observar que el espesor de las líneas que conectan ATRIBUTOS y SALIDA representan las ponderaciones relativas de cada atributo.

Tarea	Tipo de regularización	Tasa de regularización (lambda)
1	L2	0.1
2	L2	0.3
3	L1	0.1
4	L1	0.3
5	L1	Experimento

Preguntas:

1. ¿Cómo se produce el cambio de la regularización L₂ a la L₁? influyen en el delta entre la pérdida de prueba y la pérdida de entrenamiento?
2. ¿Cómo se produce el cambio de la regularización L₂ a la L₁? influir en las ponderaciones aprendidas?
3. ¿Cómo influye el aumento de la tasa de regularización L₁ (lambda) las ponderaciones aprendidas?

(Las respuestas aparecen justo debajo del ejercicio).

---

---

Haz clic en el ícono de signo más para obtener las respuestas.

1. Cambiar drásticamente de la regularización L₂ a la L₁ y reduce el delta entre la pérdida de prueba y la pérdida de entrenamiento.
2. Cambiar de la regularización L₂ a la L₁ disminuye todas las ponderaciones aprendidas.
3. Por lo general, aumentar la tasa de regularización L₁ disminuye. las ponderaciones aprendidas; pero si la tasa de regularización es muy alta el modelo no puede converger y las pérdidas son muy altas.