正則化(スパース性)

このモジュールでは、多くの次元を持つ特徴ベクトルで学習したモデルの特別な要件に焦点を当てます。

スパース性の正則化

  • 注意点: スパースな特徴クロスは特徴空間を大幅に増加させる場合がある
  • 考えられる問題:
    • モデルサイズ(RAM)が膨大になる可能性がある
    • 「ノイズ」係数(過学習の原因)
  • 重みの L0 ノルムにペナルティをかける
    • 非コンベックス最適化、NP ハード
  • 重みの L0 ノルムにペナルティをかける
    • 非コンベックス最適化、NP ハード
  • L1 正則化に緩和する:
    • abs(weights) の合計にペナルティをかける
    • 凸問題
    • L2 とは異なるスパース性を促進する