シンプルさのための正則化: プレイグラウンド演習（オーバークロス？）

推定所要時間: 5 分

オーバークロス？

動画またはドキュメントを読む前に、特徴クロスの過剰使用に関する演習を行ってください。

タスク 1: 指定されたクロス積特徴をすべて使用して、モデルをそのまま実行します。モデルとデータの適合の仕方について、意外な発見はありましたか。どのような問題がありますか？

タスク 2: パフォーマンスを向上させるには、クロス積のさまざまな特徴を（わずかにでも）削除してみてください。特徴を削除することでパフォーマンスが向上するのはなぜですか。

（解答は演習のすぐ下に表示されます）。

---

---

タスク 1 の答えのプラスアイコンをクリックします。

驚いたことに、モデルの決定境界が奇妙に見えます。特に左上の領域では、データではサポートが示されていませんが、青に染まりつつあります。

入力から出力に向かう 5 本の線の太さの違いに注目してください。これらの線は、5 つの特徴の相対的な重みを示しています。X₁ と X₂ から出ている線は、特徴クロスから出ているものよりも、はるかに太くなっています。したがって、特徴クロスは、通常の（クロスしていない）特徴よりもモデルへの寄与がはるかに少なくなります。

タスク 2 の答えのプラスアイコンをクリックします。

すべての特徴クロスを削除することで、より合理的なモデル（過学習を示唆する曲線境界がなくなる）が得られ、テストの損失が収束します。

1,000 回のイテレーション後、特徴クロスがあったときよりもテスト損失の値がわずかに小さくなるはずです（ただし、データセットによっては結果に若干異なる場合があります）。

この演習のデータは、線形データをベースにノイズを加えたものです。クロスが多すぎるなど、あまりにも複雑なモデルを使用すると、トレーニング データのノイズを学習する機会が与えられます。テストデータに対するモデルのパフォーマンス低下という代償が伴うことも少なくありません。

ヘルプセンター