Regularización para lograr dispersión: Ejercicio de Playground

Examen de la regularización L1

Este ejercicio contiene un conjunto de datos de entrenamiento pequeño y ligeramente contaminado. En este tipo de conjunto, el sobreajuste representa un problema real. La regularización puede ayudar, pero ¿qué tipo de regularización?

Este ejercicio consiste en cinco tareas relacionadas. Para simplificar las comparaciones en las cinco tareas, realiza cada tarea en una pestaña independiente. Ten en cuenta que el espesor de las líneas que conectan los ATRIBUTOS con los RESULTADOS representa las ponderaciones relativas de cada atributo.

Tarea Tipo de regularización Tasa de regularización (lambda)
1 L2 0.1
2 L2 0.3
3 L1 0.1%
4 L1 0.3
5 L1 experimento

Preguntas:

  1. ¿De qué manera el cambio de la regularización L2 a la L1 afecta el delta entre la pérdida de prueba y la pérdida de entrenamiento?
  2. ¿De qué manera el cambio de la regularización L2 a la L1 afecta las ponderaciones aprendidas?
  3. ¿De qué manera el aumento de la tasa de regularización L1 (lambda) afecta las ponderaciones aprendidas?

(Las respuestas se muestran después del ejercicio).



 

Enviar comentarios sobre…

Curso intensivo de aprendizaje automático