Este módulo se centra en los requisitos especiales para los modelos aprendidos con vectores de atributos que tienen muchas dimensiones.
Regularización para lograr dispersión
Volvamos a las combinaciones de atributos
- Aclaración: Las combinaciones de atributos dispersas pueden aumentar en gran cantidad el espacio del atributo.
- Problemas posibles:
- El tamaño del modelo (memoria RAM) puede ser enorme.
- Existencia de coeficientes inconsistentes (causan sobreajuste).
Regularización L1
- Deseas penalizar la norma de L0 de las ponderaciones
- optimización no convexa, NP duro
Regularización L1
- Deseas penalizar la norma de L0 de las ponderaciones
- optimización no convexa, NP duro
- Relajar la regularización L1:
- penalizar la suma de abs(ponderaciones)
- problema convexo
- impulsar la dispersión, a diferencia de L2