L1 正则化练习
本练习包含一个有些混乱的小型训练数据集。在这种情况下,过拟合问题比较令人担忧。 正则化可能会有所帮助,但采用哪种形式的正则化呢?
本练习包含 5 个相关的任务。为了简化这 5 个任务之间的比较,请在单独的标签中运行每个任务。 请注意,连接 FEATURES 和 OUTPUT 的线的厚度表示每个特征的相对权重。
任务 | 正则化类型 | 正则化率 (lambda) |
---|---|---|
1 | L2 | 0.1 |
2 | L2 | 0.3 |
3 | L1 | 0.1 |
4 | L1 | 0.3 |
5 | L1 | 实验 |
问题:
- 从 L2 正则化转换到 L1 正则化对测试损失与训练损失之间的差值有何影响?
- 从 L2 正则化转换到 L1 正则化对已知权重有何影响?
- 增加 L1 正则化率 (lambda) 对已知权重有何影响?
(答案位于练习正下方。)