稀疏性正则化 (Regularization for Sparsity)

本模块主要介绍学习多维度特征矢量的模型的特殊要求。

稀疏性正则化

让我们返回到特征组合

注意：稀疏特征组合可能会大大增加特征空间
可能出现的问题：

模型大小 (RAM) 可能会变得庞大
“噪点”系数（导致过拟合）

L₁ 正则化

会对权重的 L₀ 范数进行惩罚

非凸优化；NP 困难

L₁ 正则化

会对 L₀ 权重的范数进行惩罚

非凸优化；NP 困难

比较放松的 L₁ 正则化：

对绝对值（权重）之和进行惩罚
凸优化问题
和 L₂ 不同，L1 鼓励稀疏性

Except as otherwise noted, the content of this page is licensed under the Creative Commons Attribution 4.0 License, and code samples are licensed under the Apache 2.0 License. For details, see the Google Developers Site Policies. Java is a registered trademark of Oracle and/or its affiliates.

Last updated 2020-02-10 UTC.