神经网络：使用反向传播进行训练

反向传播是神经网络最常用的训练算法。它使梯度下降法可用于多层神经网络。许多机器学习代码库（例如 Keras）会自动处理反向传播算法，因此您无需自行执行任何底层计算。请观看以下视频，从概念上大致了解反向传播算法的工作原理：

如需详细了解如何构建图片模型，请参阅图片分类课程。

神经网络训练的最佳实践

本部分介绍了反向传播的失败情况，以及正则化神经网络的最常用方法。

注意：反向传播训练算法利用梯度的微积分概念来调整模型权重，从而最大限度地降低损失。若要理解和调试以下问题，通常需要具备一些微积分方面的背景知识。

梯度消失

较低神经网络层（更接近输入层）的梯度可能会变得很小。在深度网络（包含多个隐藏层的网络）中，计算这些梯度可能涉及对许多小项进行乘法。

当较低层的梯度值接近 0 时，梯度会被称为“消失”。具有消失梯度的层训练速度非常慢，或者根本无法训练。

ReLU 激活函数有助于防止梯度消失。

爆炸式渐变

如果网络中的权重非常大，则较低层的梯度涉及许多大项的乘积。在这种情况下，可能会出现梯度爆炸：梯度太大而无法收敛。

批处理归一化有助于防止梯度爆炸，降低学习率也有助于防止梯度爆炸。

死 ReLU 单元

一旦 ReLU 单元的加权和低于 0，ReLU 单元可能会卡住。它会输出 0，对网络的输出没有任何贡献，并且在反向传播期间梯度无法再流经它。由于梯度源被切断，ReLU 的输入可能永远不会发生足够的变化，无法使加权和重新高于 0。

降低学习率有助于防止 ReLU 单元死亡。

此外，还有许多 ReLU 变体旨在解决此特定问题，例如 LeakyReLU，您可以考虑将其用作激活函数来防止 ReLU 单元死掉。

Dropout 正规化

还有一种正则化形式，称为Dropout 正则化，对神经网络很有用。其工作原理是，在一个梯度步长中随机“丢弃”网络中的单元激活。丢弃的样本越多，正则化效果就越强：

• 0.0 = 不进行 dropout 正规化。
• 1.0 = 舍弃所有节点。模型学不到任何规律。
• 0.0 和 1.0 之间的值更有用。

关键术语：

• 反向传播
• Dropout 正规化
• 梯度爆炸问题
• 消失梯度问题

帮助中心