Examen de la regularización L1
Este ejercicio contiene un conjunto de datos de entrenamiento pequeño y ligeramente contaminado. En este tipo de conjunto, el sobreajuste representa un problema real. La regularización puede ayudar, pero ¿qué tipo de regularización?
Este ejercicio consiste en cinco tareas relacionadas. Para simplificar las comparaciones en las cinco tareas, realiza cada tarea en una pestaña independiente. Ten en cuenta que el espesor de las líneas que conectan los ATRIBUTOS con los RESULTADOS representa las ponderaciones relativas de cada atributo.
Tarea | Tipo de regularización | Tasa de regularización (lambda) |
---|---|---|
1 | L2 | 0.1 |
2 | L2 | 0.3 |
3 | L1 | 0.1% |
4 | L1 | 0.3 |
5 | L1 | experimento |
Preguntas:
- ¿De qué manera el cambio de la regularización L2 a la L1 afecta el delta entre la pérdida de prueba y la pérdida de entrenamiento?
- ¿De qué manera el cambio de la regularización L2 a la L1 afecta las ponderaciones aprendidas?
- ¿De qué manera el aumento de la tasa de regularización L1 (lambda) afecta las ponderaciones aprendidas?
(Las respuestas se muestran después del ejercicio).