多类别神经网络 (Multi-Class Neural Networks)

前面您已经了解了二元分类模型,该模型可从两个可能的选项中选择其一,例如:

  • 特定电子邮件是垃圾邮件还是非垃圾邮件。
  • 特定肿瘤是恶性肿瘤还是良性肿瘤。

在本单元中,我们将研究多类别分类,这种模型可从多种可能的情况中进行选择。例如:

  • 这条狗是小猎犬、巴吉度猎犬还是寻血猎犬?
  • 这朵花是西伯利亚鸢尾花、荷兰鸢尾花、蓝旗鸢尾花还是有髯鸢尾花?
  • 那架飞机是波音 747、空中客车 320、波音 777 还是 Embraer 190?
  • 这是一张苹果、熊、糖果、狗狗还是鸡蛋的图片?

现实世界中的一些多类别问题需要从数百万个类别中进行选择。例如,一个几乎能够识别任何事物图片的多类别分类模型。

多类别神经网络

  • 逻辑回归为二元分类问题提供了有用的概率。
    • 垃圾邮件/非垃圾邮件
    • 点击/未点击
  • 那多类别问题呢?
    • 苹果、香蕉、汽车、心脏病专家、…、步行标志、斑马、动物园
    • 红色、橙色、黄色、绿色、蓝色、靛青色、紫色
    • 动物、蔬菜、矿物
  • 为每个可能的类别创建唯一输出
  • 分别对“我的类别”与“所有其他类别”信号进行训练
  • 可以在深度网络中执行,也可以借助单独的模型执行
具有五个隐藏层和五个输出层的神经网络。
  • 添加了附加限制:要求所有一对多节点的输出总和为 1.0
  • 附加限制有助于快速训练收敛
  • 另外,允许输出解析为概率
一个深度神经网络,具有一个输入层、两个普通的隐藏层,然后是 Softmax 层,最后是一个输出层(与 Softmax 层拥有一样的节点数)。
  • 多类别单一标签分类:
    • 一个样本可能只是一个类别的成员。
    • 类别互斥这一限制是有用的结构。
    • 有助于在损失中对此进行编码。
    • 将一个 softmax 损失用于所有可能的类别。
  • 多类别多标签分类:
    • 一个样本可能是多个类别的成员。
    • 无需对类别成员资格设定额外的限制。
    • 将一个逻辑回归损失用于每个可能的类别。
  • 完整 SoftMax
    • 暴力破解;针对所有类别进行计算
  • 完整 SoftMax
    • 暴力破解;针对所有类别进行计算
  • 候选采样
    • 针对所有正类别标签进行计算,但仅针对负类别标签的随机样本进行计算。