Confira as opções abaixo.
Imagine um modelo linear com dois atributos fortemente correlacionados. ou seja,
esses dois recursos são cópias quase idênticas um do outro,
contém uma pequena quantidade de ruído aleatório. Se treinarmos
modelo com regularização L2, o que acontecerá com os pesos
para esses dois recursos?
Os dois atributos terão pesos moderados aproximadamente iguais.
A regularização de L2 força os atributos a
pesos quase equivalentes que são aproximadamente metade
como seria se apenas um dos dois recursos
que estiveram no modelo.
Um atributo terá um peso grande; o outro terá
peso quase 0,0.
A regularização de L2 penaliza mais ponderações grandes
do que pesos pequenos. Então, mesmo se um peso começasse a cair
mais rápida que o outro, a regularização L2
tendem a forçar o peso maior a cair mais rapidamente
o menor peso.
Um atributo terá um peso grande; o outro terá
peso de exatamente 0,0.
A regularização L2 raramente força
como exatamente 0,0. Por outro lado, a regularização de L1
(discutido posteriormente) força os pesos para exatamente 0,0.