如上所述，梯度矢量同时具有方向和大小。梯度下降法算法会将梯度乘以称为“学习速率”（有时也称为“步长”）的标量，以确定下一个点。例如，如果梯度大小为 2.5 且学习速率为 0.01，则梯度下降法算法会选择距离前一个点 0.025 的下一个点。
超参数是编程人员在机器学习算法中用于调整的旋钮。大多数机器学习程序员都会花费大量时间来调整学习速率。如果您选择的学习速率过小，则学习将会花费太长时间：
图 6. 学习速率过小。
相反，如果您指定的学习速率过大，则下一个点将永远在井底随意弹跳，就像量子力学实验大错一样：
图 7. 学习速率过高。
每个回归问题都存在一个金发姑娘学习速率。“金发姑娘”值与损失函数的平坦程度有关。如果您知道损失函数的梯度较小，则可以放心地尝试较大的学习速率，以抵消小的梯度，从而产生较大的步长。
图 8. 学习速率恰到好处。