請瀏覽下列選項。
假設線性模型包含兩個密切相關的特徵;也就是
這兩項功能彼此幾乎完全相同
特徵中包含少量的隨機雜訊如果我們訓練這個詞彙
就會對權重2
這兩項功能呢?
這兩項特徵的權重大致相等。
L2 正則化會強制要求這些功能朝向
大約相等的權重
他們大概只知道其中一種功能
新增到模型中
一項特徵具有較大權重;另一個則是
權重「幾乎」為 0.0。
L2 正則化會讓較大的權重降低
權重值會較低因此即使某個體重開始下降
也就是 L2 正則化
通常會強迫較大體重比
也就是較小的
一項特徵具有較大權重;另一個則是
權重「應該」為 0.0。
L2 正規化極少會強迫
權重設為 0.0相較之下,L1 正則化
(稍後討論)「確實」會將權重強制設為 0.0。