稀疏性正则化 (Regularization for Sparsity)

本模块主要介绍学习多维度特征矢量的模型的特殊要求。

稀疏性正则化

  • 注意:稀疏特征组合可能会大大增加特征空间
  • 可能出现的问题:
    • 模型大小 (RAM) 可能会变得庞大
    • “噪点”系数(导致过拟合)
  • 会对权重的 L0 范数进行惩罚
    • 非凸优化;NP 困难
  • 会对 L0 权重的范数进行惩罚
    • 非凸优化;NP 困难
  • 比较放松的 L1 正则化:
    • 绝对值(权重)之和进行惩罚
    • 凸优化问题
    • 和 L2 不同,L1 鼓励稀疏性