Explora las opciones que aparecen a continuación.
Imagina un modelo lineal con dos atributos fuertemente correlacionados; es decir,
estas dos funciones son casi idénticas entre sí, pero una
contiene una pequeña cantidad de ruido aleatorio. Si entrenamos esto
con regularización L2, ¿qué sucederá con los pesos?
para estas dos funciones?
Ambos atributos tendrán pesos moderados y casi iguales.
La regularización L2 forzará los atributos hacia
más o menos equivalentes que son aproximadamente la mitad
con solo una de las dos funciones
estado en el modelo.
Un atributo tendrá un peso grande; el otro tendrá un
de casi 0.0.
La regularización L2 penaliza más los pesos grandes.
que las ponderaciones pequeñas. Por lo tanto, incluso si un peso comenzó a bajar
más rápida que la otra, la regularización L2
tienden a forzar a que el peso más grande caiga más rápido que
el peso más pequeño.
Un atributo tendrá un peso grande; el otro tendrá un
de exactamente 0.0.
La regularización L2 rara vez fuerza
los pesos a exactamente 0.0. Por el contrario, la regularización L1
(se explica más adelante) sí fuerza los pesos a que sean exactamente 0.0.