オーバークロス？

動画やドキュメントをご覧になる前に、 この演習では特徴クロスの過剰使用について説明します。

タスク 1: 指定されたクロス積のすべてを使用して、モデルをそのまま実行する 説明します。モデルとデータの適合について、予想外の結果が生じることはありますか？ どのような問題がありますか？

タスク 2: さまざまなクロス積特徴を削除して改善を試みる 向上します（わずかですが）。なぜ特徴量の削除は パフォーマンスが向上しますか？

（解答は演習のすぐ下に表示されます）。

---

---

タスク 1 の解答のプラスアイコンをクリックします。

驚くべきことに、モデルの決定境界が奇妙に見えます。特に 左上に青っぽい領域がありますが データにはそれに対する明確な裏付けがありません。

入力から出力に向かう 5 本の線の太さの違いに注目してください。 これらの線は、5 つの特徴の相対的な重みを示しています。 X₁ と X₂ から出ている線は、 ベクトルが生成されます。したがって、特徴クロスは 通常の（交差されていない）特徴よりも、モデルへの寄与度がはるかに低くなっています。

プラスアイコンをクリックすると、タスク 2 の解答が表示されます。

特徴クロスをすべて削除すると、より合理的なモデルが得られます（ 過学習を示唆する曲線境界ではなくなる） テストの損失が収束します

1,000 回のイテレーション後、テスト損失はわずかに小さくなる 特徴クロスがあったときよりも データセットによって多少異なる場合があります）。

この演習のデータは、線形データにノイズを加えたものです。 多すぎるモデルなど、あまりにも複雑なモデルを使用すると、 トレーニング データ内のノイズに適合する機会が与えられ、 テストデータでのモデルのパフォーマンス低下を招きます