稀疏性正则化 (Regularization for Sparsity)：Playground 练习

预计用时：8 分钟

L₁ 正则化练习

本练习包含一个有些混乱的小型训练数据集。在这种情况下，过拟合问题比较令人担忧。 正则化可能会有所帮助，但采用哪种形式的正则化呢？

本练习包含 5 个相关的任务。为了简化这 5 个任务之间的比较，请在单独的标签中运行每个任务。 请注意，连接 FEATURES 和 OUTPUT 的线的厚度表示每个特征的相对权重。

任务	正则化类型	正则化率 (lambda)
1	L2	0.1
2	L2	0.3
3	L1	0.1
4	L1	0.3
5	L1	实验

问题：

1. 从 L₂ 正则化转换到 L₁ 正则化对测试损失与训练损失之间的差值有何影响？
2. 从 L₂ 正则化转换到 L₁ 正则化对已知权重有何影响？
3. 增加 L₁ 正则化率 (lambda) 对已知权重有何影响？

（答案位于练习正下方。）

---

---

点击即可查看答案。

1. 从 L₂ 正则化转换到 L₁ 正则化之后，测试损失与训练损失之间的差值明显减少。
2. 从 L₂ 正则化转换到 L₁ 正则化之后，所有已知权重都有所减少。
3. 增加 L₁ 正则化率一般会减小已知权重；不过，如果正则化率过高，该模型便不能收敛，损失也会很高。

 

帮助中心