L2 正則化の調査
この演習には、ノイズの多い小さなトレーニング データセットが含まれています。このような環境では、過学習が大きな懸念事項となります。幸いなことに、正規化が役立つ場合があります。
この演習は、関連する 3 つのタスクで構成されています。3 つのタスクの比較を簡単にするため、各タスクを個別のタブで実行してください。
- タスク 1: 与えられたように、少なくとも 500 エポックにわたってモデルを実行します。次の点に注意してください。
- テスト損失。
- テストの損失とトレーニングの損失の差。
- 特徴と特徴クロスの学習した重み。（FEATURES から OUTPUT まで続く各線の相対的な太さは、その特徴または特徴クロスの学習した重みを表します。各行にカーソルを合わせると、正確な重みの値を確認できます）。
- タスク 2:（このタスクを別のタブで実施することを検討してください。）正則化率を 0 から 0.3 に増やします。次に、少なくとも 500 エポックにわたってモデルを実行し、次の質問への回答を見つけます。
- タスク 2 のテスト損失は、タスク 1 のテストの損失とどう違うのですか？
- タスク 2 のテスト損失とトレーニングの損失の差は、タスク 1 の差分とどう違いますか。
- 各特徴および特徴クロスの学習した重みが、タスク 2 とタスク 1 でどう違うのか？
- モデルの複雑さについて、結果からどのようなことが言えますか。
- タスク 3: 正則化率を試して最適な値を見つける。
（解答は演習のすぐ下に表示されます）。