L₂ 正则化练习

本练习包含一个杂乱的小型训练数据集。 在这种情况下，过拟合问题比较令人担忧。幸运的是 正则化可能会有所帮助。

本练习包含三项相关的任务。简化比较 请在单独的标签页中运行每个任务。

• 任务 1：运行该模型至少 500 次。注意事项 以下： <ph type="x-smartling-placeholder">
  </ph>
  • 测试损失。
  • 测试损失与训练损失之间的差值。
  • 特征和特征组合的已知权重。 （从 FEATURES 到 OUTPUT 的每条线的相对厚度 表示该特征或特征组合的已知权重。 将鼠标悬停在 每行。）
• 任务 2：（考虑在单独的标签页中执行此任务。）提高 正则化率范围为 0 到 0.3。然后，运行 模型训练至少 500 个周期，并找出以下问题的答案： <ph type="x-smartling-placeholder">
  </ph>
  • 任务 2 中的测试损失与任务中的测试损失有何不同 1？
  • 任务 2 中的测试损失与训练损失之间的差值如何 与任务 1 的不同之处？
  • 每个特征和特征组合的已知权重有何不同 从任务 2 改为任务 1？
  • 您的结果说明了模型复杂度如何？
• 任务 3：尝试不同的正则化率，尝试找出 最优值。

（答案位于练习正下方。）

---

---

点击加号图标即可查看答案。

将正则化率从 0 增加到 0.3 会产生以下结果： 效果：

• 测试损失显著下降。

  注意：虽然测试损失有所减少，但训练损失实际上 这是正常现象，因为您又添加了 损失函数，以对复杂度进行惩罚。归根结底 测试损失是重中之重，因为这是准确衡量模型 根据新数据做出良好的预测。

• 测试损失与训练损失之间的差值明显减小。
• 特征和部分特征组合的权重较低 绝对值，这意味着模型复杂度会降低。

鉴于数据集的随机性，无法预测 哪个正则化率能为您带来最佳结果。 对我们来说，正则化率为 0.3 或 1 通常会产生 最小的测试损失。