Regularización para lograr dispersión

Este módulo se centra en los requisitos especiales para los modelos aprendidos con vectores de atributos que tienen muchas dimensiones.

Regularización para lograr dispersión

Volvamos a las combinaciones de atributos

  • Aclaración: Las combinaciones de atributos dispersas pueden aumentar en gran cantidad el espacio del atributo.
  • Problemas posibles:
    • El tamaño del modelo (memoria RAM) puede ser enorme.
    • Existencia de coeficientes inconsistentes (causan sobreajuste).

Regularización L1

  • Deseas penalizar la norma de L0 de las ponderaciones
    • optimización no convexa, NP duro

Regularización L1

  • Deseas penalizar la norma de L0 de las ponderaciones
    • optimización no convexa, NP duro
  • Relajar la regularización L1:
    • penalizar la suma de abs(ponderaciones)
    • problema convexo
    • impulsar la dispersión, a diferencia de L2

Enviar comentarios sobre…

Curso intensivo de aprendizaje automático