スパース性の正則化: プレイグラウンドの演習

推定所要時間: 8 分

L₁ 正則化の調査

この演習には、わずかにノイズの多い小さなトレーニング データセットが含まれています。このような設定では、過学習が大きな問題となります。正則化が役立つかもしれませんが、その正則化はどのような形のものでしょうか。

この演習は、関連する 5 つのタスクで構成されています。5 つのタスクを簡単に比較できるように、各タスクを個別のタブで実行してください。 「特徴量」と「出力」を結ぶ線の太さは、各特徴量の相対的な重みを表しています。

タスク	正則化の種類	正則化率（ラムダ）
1	L2	0.1
2	レベル2	0.3
3	レベル1	0.1
4	レベル1	0.3
5	レベル1	experiment

質問:

1. L₂ 正則化から L₁ 正則化に切り替えると、テスト損失とトレーニング損失の差にどのような影響がありますか？
2. L₂ から L₁ に正則化を切り替えると、学習した重みにどのような影響がありますか。
3. L₁ 正則化率（ラムダ）を増やすと、学習した重みにどのような影響がありますか。

（解答は演習のすぐ下に表示されます）。

---

---

プラスアイコンをクリックすると、回答を確認できます。

1. L₂ 正則化から L₁ 正則化に切り替えると、テスト損失とトレーニング損失の差が大幅に削減されます。
2. L₂ から L₁ 正則化に切り替えると、学習したすべての重みが減衰します。
3. 通常、L₁ 正則化率を上げると、学習した重みが減ります。ただし、正則化率が高すぎると収束せず、損失が非常に大きくなります。

 

ヘルプセンター