学习速率和收敛
这是一系列 Playground 练习中的第一个练习。Playground 是专为本课程开发的程序，旨在讲解机器学习原理。本课程中的每个 Playground 练习都包含一个带有预设的嵌入式 Playground 实例。
每个 Playground 练习都会生成一个数据集。此数据集的标签有两个可能的值。您可以将这两个可能的值视为垃圾内容与非垃圾内容，或者将健康的树与生病的树视为对比。大多数练习的目标是调整各种超参数，以构建能够成功区分（分离或区分）一个标签值与另一个标签值的模型。请注意，大多数数据集都包含一定数量的噪声，导致无法成功分类每个样本。
点击加号图标，即可查看对模型可视化图表的说明。
每个 Playground 练习都会显示模型的当前状态。例如，以下是一个可视化图表：
请注意以下关于模型可视化的事项：
- 每个轴都代表一个特定的特征。对于垃圾邮件与非垃圾邮件的情况，特征可以是电子邮件的字数和收件人数量。
- 每个点代表一个数据样本（如电子邮件地址）的特征值。
- 点的颜色表示样本所属的类别。例如，蓝点可以表示非垃圾邮件，而橙点可以表示垃圾邮件。
- 背景颜色表示模型对应该在哪里找到相应颜色样本的预测。某个蓝点周围显示蓝色背景表示模型正确地预测了该样本。相反，某个蓝点周围显示橙色背景表示模型错误地预测了该样本。
- 背景的蓝色和橙色部分色调会有深浅之分。例如，可视化图表的左侧是纯蓝色，但在可视化图表中心逐渐淡化为白色。您可以将颜色强度视为表明模型对其猜测结果的自信程度。因此，纯蓝色表示模型对其猜测结果非常有信心，浅蓝色表示模型的置信度较低。（图中所示的模型在预测方面的表现非常糟糕。）
通过直观的图表来判断模型的进度。 （“太棒了 - 大多数蓝点都有蓝色背景”或“糟糕！蓝点有橙色背景。”） 除了颜色之外，Playground 还会以数字形式显示模型的当前损失。（“糟糕！损失正在上升，而不是下降。”）
本练习的界面提供了三个按钮：
| Icon | 名称 | 功能 |
|---|---|---|
|
重置 | 将 Iterations 重置为 0。重置模型已学习的所有权重。 |
|
步骤 | 推进一次迭代。在每次迭代中，模型都会发生变化，有时是细微变化，有时是巨大的变化。 |
|
重新生成 | 生成新的数据集。不会重置 Iterations。 |
在第一个 Playground 练习中，您将通过执行两项任务来实验学习速率。
任务 1：注意 Playground 右上角的学习速率菜单。给定的学习速率 (3) 非常高。通过点击“步”按钮 10 或 20 次，观察较高的学习速率对模型的影响。在每次早期迭代后，请注意模型可视化效果如何显著变化。模型似乎已收敛后，您甚至可能会看到一些不稳定的情况。另请注意从 x1 和 x2 到模型可视化效果的线条。这些线的权重表示模型中这些特征的权重。也就是说，线越粗，权重越高。
任务 2：执行以下操作：
- 按重置按钮。
- 降低学习速率。
- 多次按“步”按钮。
较低的学习速率对收敛有何影响？了解模型收敛所需的步数，以及模型收敛的平稳程度。尝试更低的学习速率值。您能否发现因过慢而无用的学习速率？（您会在练习下方找到相关讨论。）