浏览以下选项。
假设某个线性模型具有两个密切相关的特征:即
这两个特征几乎是彼此的副本,但
特征包含少量随机噪声。如果我们训练
L2 正则化模型之后,权重会发生什么变化
对这两个功能有什么影响?
两个特征将具有大致相等的适度权重。
L2 正则化会使特征
大致相等的权重,约为 0.5 的
两个特征中的一个,
模型中所处的位置。
一个地图项的权重较大;另一个将拥有
权重几乎为 0.0。
L2 正则化降低较大权重的程度
而不是较小的权重。因此,即使有一个体重开始下降
L2 正则化
往往会促使较大的权重
较小的权重。
一个地图项的权重较大;另一个将拥有
正好为 0.0 的权重。
L2 正则化很少强制
权重正好为 0.0。相比之下,L1 正则化
(稍后讨论)会强制权重正好为 0.0。