L₁ 正则化练习

本练习包含一项稍微有些嘈杂的小型训练 数据集。在这种情况下，过拟合问题比较令人担忧。 正则化可能会有所帮助，但哪种形式的正则化呢？

本练习包含 5 个相关的任务。简化比较 请在单独的标签页中运行每个任务。 请注意，连接 FEATURES 和 OUTPUT 的线的粗细 表示每个特征的相对权重。

任务	正则化类型	正则化率 (lambda)
1	级别2	0.1
2	级别2	0.3
3	最近1	0.1
4	最近1	0.3
5	最近1	实验

问题：

1. 如何从 L₂ 正则化转换到 L₁ 正则化 影响测试损失与训练损失之间的增量？
2. 如何从 L₂ 正则化转换到 L₁ 正则化 影响学习的权重呢？
3. 增加 L₁ 正则化率 (lambda) 如何影响 学习权重呢？

（答案位于练习正下方。）

---

---

点击加号图标即可查看答案。

1. 从 L₂ 正则化转换到 L₁ 正则化明显 来减小测试损失与训练损失之间的差值。
2. 从 L₂ 正则化阻尼切换到 L₁ 正则化阻尼 学习到的所有权重。
3. 提高 L₁ 正则化率通常会减弱 学习到的权重；但是，如果正则化率过高， 模型无法收敛，损失也非常高。