稀疏性正则化 (Regularization for Sparsity):Playground 练习

L1 正则化练习

本练习包含一个有些混乱的小型训练数据集。在这种情况下,过拟合问题比较令人担忧。 正则化可能会有所帮助,但采用哪种形式的正则化呢?

本练习包含 5 个相关的任务。为了简化这 5 个任务之间的比较,请在单独的标签中运行每个任务。 请注意,连接 FEATURES 和 OUTPUT 的线的厚度表示每个特征的相对权重。

任务 正则化类型 正则化率 (lambda)
1 L2 0.1
2 L2 0.3
3 L1 0.1
4 L1 0.3
5 L1 实验

问题:

  1. 从 L2 正则化转换到 L1 正则化对测试损失与训练损失之间的差值有何影响?
  2. 从 L2 正则化转换到 L1 正则化对已知权重有何影响?
  3. 增加 L1 正则化率 (lambda) 对已知权重有何影响?

(答案位于练习正下方。)