次の一般化曲線について考えてみましょう。これは、トレーニングのイテレーション回数に対するトレーニング セットと検証セットの両方の損失を示しています。
図 1. トレーニング セットと検証セットでの損失。
図 1 は、トレーニングの損失が徐々に減少するものの、最終的には検証の損失が増加するモデルを示しています。言い換えると、この一般化曲線は、モデルがトレーニング セット内のデータに過学習していることを示しています。内部の Ockham と連携し、複雑なモデルにペナルティをかけることで過学習を防ぐことができます。これは正則化と呼ばれる原則です。
つまり、単に損失を最小限に抑えること（経験的リスクの最小化）を目指すのではなく、
損失と複雑さを最小限に抑えます。これは構造的リスクの最小化と呼ばれます。
トレーニング最適化アルゴリズムは、モデルがデータにどの程度適合するかを測定する損失項と、モデルの複雑さを測定する正則化項の 2 つの関数になりました。
機械学習集中講座では、モデルの複雑さについて次の 2 つの一般的な（ただしある程度関連する）方法に焦点を当てます。
- モデルの複雑さの度合い（モデル内のすべての特徴の重みの関数）。
- 重みが 0 以外の特徴の合計数の関数としてのモデルの複雑さ。（後のモジュールでこのアプローチについて説明します）。
モデルの複雑さが重みの関数の場合、絶対値が高い特徴量の重みは、絶対値が低い特徴量の重みよりも複雑になります。
複雑さは、L2 正則化の式を使用して定量化できます。この式では、すべての特徴の重みの二乗の和として正則化項が定義されます。
この式で、重みが 0 に近い場合、モデルの複雑さにほとんど影響しませんが、外れ値の重みは大きな影響を及ぼす可能性があります。
たとえば、次のような重みを持つ線形モデルがあるとします。
L2 正則化項は 26.915 である。
しかし、 \(w_3\) （上の太字）は、25 という 25 という値により、ほぼすべての複雑さの原因となります。他の 5 つの重みすべての二乗の合計で、L2 正則化項に 1.915 だけ加算されます。