Regularização de L1
Confira as opções abaixo.
Imagine um modelo linear com 100 atributos de entrada:
10 são altamente informativas.
90 não são informativas.
Suponha que todos os atributos tenham valores entre -1 e 1.
Quais das seguintes afirmações são verdadeiras?
A regularização de L1 incentivará muitos dos pesos não informativos a serem quase 0,0, mas não exatamente.
Em geral, a regularização de L1 de lambdas suficientes tende a incentivar recursos não informativos para pesos exatamente 0,0.
Ao contrário da regularização de L2, ela "empurra" a mesma dificuldade para 0,0, não importa quão longe o peso está de 0,0.
A regularização de L1 incentivará a maioria dos pesos não informativos a ser exatamente 0,0.
A regularização de L1 de lambdas suficientes tende a incentivar
pesos não informativos a se tornarem exatamente 0,0. Ao fazer isso, esses recursos não informativos saem do modelo.
A regularização de L1 pode fazer com que recursos informativos tenham um peso exatamente 0,0.
Tenha cuidado: a regularização de L1 pode fazer com que os seguintes tipos de recursos recebam pesos exatamente 0:
Recursos informativos fracos.
Recursos altamente informativos em diferentes escalas.
recursos informativos fortemente correlacionados a outros recursos informativos semelhantes;
Regularização de L1 x L2
Confira as opções abaixo.
Imagine um modelo linear com 100 atributos de entrada, todos com valores
entre -1 e 1:
10 são altamente informativas.
90 não são informativas.
Que tipo de regularização produzirá o modelo menor?
L2.
A regularização L2 raramente reduz o número de atributos.
Em outras palavras, a regularização de L2 raramente reduz o tamanho do modelo.
L1.
L1 costuma reduzir o número de atributos. Em outras palavras, a regularização L1 geralmente reduz o tamanho do modelo.