神经网络

您可能还记得“分类数据”模块中的特征交叉练习,其中指出以下分类问题是非线性的:

图 1. 直角坐标平面,分为四个象限,每个象限都填充了形状类似于正方形的随机点。右上象限和左下象限中的点是蓝色的,
      而左上角和右下角象限中的点为橙色。
图 1. 非线性分类问题。线性函数无法将所有蓝点与橙点清晰地分开。

“非线性”这表示你无法准确预测 格式为 \(b + w_1x_1 + w_2x_2\)。换言之, “决策界面”不是一条线。

不过,如果我们对特征 $x_1$ 和 $x_2$ 执行特征交叉,则可以使用线性模型表示这两个特征之间的非线性关系:$b + w_1x_1 + w_2x_2 + w_3x_3$,其中 $x_3$ 是 $x_1$ 和 $x_2$ 之间的特征交叉:

图 2. 蓝色和橙色的同一个笛卡尔坐标平面
      如图 1 所示。不过,这次在网格上方绘制了一条白色双曲线,将右上象限和左下象限中的蓝点(现在用蓝色背景填充)与左上象限和右下象限中的橙点(现在用橙色背景填充)区分开来。
图 2. 通过添加特征交叉项 x1x2,线性模型可以学习一个将蓝点与橙点分开的双曲线形状。

现在,请考虑以下数据集:

图 3. 笛卡尔坐标平面,分为四个象限。
      蓝点位于蓝点原点
      周围环绕着一圈橙点。
图 3. 更困难的非线性分类问题。

您可能还记得特征交叉练习,在确定正确的特征交叉以将线性模型拟合到这些数据时,需要付出更多努力并进行更多实验。

但如果您不必亲自进行所有这些实验,该怎么办? 神经网络是一类模型架构,旨在发现数据中的非线性模式。在神经网络训练期间,模型会自动学习对输入数据执行的最佳特征交叉,以最大限度地减少损失。

在后面的部分中,我们将详细介绍神经网络的运作方式。