前面您已经了解了二元分类模型，该模型可从两个可能的选项中选择其一，例如：
- 特定电子邮件是垃圾邮件还是非垃圾邮件。
- 特定肿瘤是恶性肿瘤还是良性肿瘤。
在本单元中，我们将研究多类别分类，这种模型可从多种可能的情况中进行选择。例如：
- 这条狗是小猎犬、巴吉度猎犬还是寻血猎犬？
- 这朵花是西伯利亚鸢尾花、荷兰鸢尾花、蓝旗鸢尾花还是有髯鸢尾花？
- 那架飞机是波音 747、空中客车 320、波音 777 还是 Embraer 190？
- 这是一张苹果、熊、糖果、狗狗还是鸡蛋的图片？
现实世界中的一些多类别问题需要从数百万个类别中进行选择。例如，一个几乎能够识别任何事物图片的多类别分类模型。
多类别神经网络
超过两类？
- 逻辑回归为二元分类问题提供了有用的概率。
- 垃圾邮件/非垃圾邮件
- 点击/未点击
- 那多类别问题呢？
- 苹果、香蕉、汽车、心脏病专家、…、步行标志、斑马、动物园
- 红色、橙色、黄色、绿色、蓝色、靛青色、紫色
- 动物、蔬菜、矿物
一对多多类别
- 为每个可能的类别创建唯一输出
- 分别对“我的类别”与“所有其他类别”信号进行训练
- 可以在深度网络中执行，也可以借助单独的模型执行
SoftMax 多类别
- 添加了附加限制：要求所有一对多节点的输出总和为 1.0
- 附加限制有助于快速训练收敛
- 另外，允许输出解析为概率
何时使用何种分类？
- 多类别单一标签分类：
- 一个样本可能只是一个类别的成员。
- 类别互斥这一限制是有用的结构。
- 有助于在损失中对此进行编码。
- 将一个 softmax 损失用于所有可能的类别。
- 多类别多标签分类：
- 一个样本可能是多个类别的成员。
- 无需对类别成员资格设定额外的限制。
- 将一个逻辑回归损失用于每个可能的类别。
SoftMax 选项
- 完整 SoftMax
- 暴力破解；针对所有类别进行计算
SoftMax 选项
- 完整 SoftMax
- 暴力破解；针对所有类别进行计算
- 候选采样
- 针对所有正类别标签进行计算，但仅针对负类别标签的随机样本进行计算。