L2 Regularização
Confira as opções abaixo.
Imagine um modelo linear com 100 atributos de entrada:
10 são altamente informativas.
90 não são informativas.
Suponha que todos os atributos tenham valores entre -1 e 1.
Quais das seguintes afirmações são verdadeiras?
A regularização L2 incentivará muitos dos pesos não informativos a serem quase (mas não exatamente) 0,0.
Sim, a regularização de L2 incentiva que os pesos fiquem próximos de 0,0, mas não exatamente de 0,0.
A regularização L2 incentivará a maioria dos pesos não informativos a ser exatamente 0,0.
A regularização de L2 não tende a forçar os pesos a exatamente 0,0. Essa regularização penaliza mais os pesos maiores do que os menores.2 À medida que um peso se aproxima de 0,0,
o L2 "empurra" menos à força em direção a 0,0.
L2 pode fazer com que o modelo aprenda um peso moderado para alguns recursos não informativos.
Surpreendentemente, isso pode acontecer quando um atributo não informativo está correlacionado com o rótulo. Nesse caso, o modelo fornece incorretamente a esses recursos não informativos parte do "crédito" que deveria ter sido para recursos informativos.
L2 Regularização e recursos relacionados
Confira as opções abaixo.
Imagine um modelo linear com dois atributos fortemente correlacionados, ou seja, esses dois atributos são cópias quase idênticas um do outro, mas um deles contém uma pequena quantidade de ruído aleatório. Se treinarmos o modelo com a regularização de L2, o que acontecerá com os pesos desses dois atributos?
Os dois recursos vão ter pesos moderados quase iguais.
A regularização L2 forçará os atributos a ter pesos quase equivalentes, que são aproximadamente metade do que teriam sido se apenas um dos dois atributos estivesse no modelo.
Um recurso terá um peso grande, e o outro terá um peso quase 0,0.
Essa regularização penaliza mais pesos grandes do que pesos pequenos.2 Portanto, mesmo que um peso começasse a cair mais rápido do que o outro, a regularização L2 tenderia a forçar o peso maior a cair mais rapidamente do que o peso menor.
Um recurso terá um peso grande, e o outro terá um peso de exatamente 0,0.
A regularização L2 raramente força os pesos a exatamente 0,0. Por outro lado, a regularização L1 (discutida posteriormente) força os pesos para exatamente 0,0.