分类 (Classification):检查您的理解情况(准确率、精确率、召回率)

准确率

查看以下选项。

在以下哪种情况下,高的准确率值表示机器学习模型表现出色?
一种致命但可治愈的疾病影响着 0.01% 的人群。某个机器学习模型使用其症状作为特征,预测这种疾病的准确率为 99.99%。
在这种情形中,准确率是个糟糕的指标。毕竟,即使它只是个一律预测“没病”的“愚蠢”模型,也依然能达到 99.99% 的准确率。而将某个患病的人错误地预测为“没病”则可能是致命的。
一只造价昂贵的机器鸡每天要穿过一条交通繁忙的道路一千次。某个机器学习模型评估交通模式,预测这只鸡何时可以安全穿过街道,准确率为 99.99%。
在一条交通繁忙的道路上,99.99% 的准确率充分表明该机器学习模型的作用比碰运气要好得多。不过,在某些情况下,即使偶尔出现错误,代价也相当高。99.99% 的准确率意味着这只昂贵的鸡平均每 10 天就要更换一次。(这只鸡也可能对它撞到的汽车造成严重损坏。)
roulette 游戏中,一只球会落在旋转轮上,并且最终落入 38 个槽的其中一个内。某个机器学习模型可以使用视觉特征(球的旋转方式、球落下时旋转轮所在的位置、球在旋转轮上方的高度)预测球会落入哪个槽中,准确率为 4%。
这个机器学习模型做出的预测比碰运气要好得多;随机猜测的正确率为 1/38,即准确率为 2.6%。尽管该模型的准确率“只有”4%,但成功预测获得的好处远远大于预测失败的损失。

精确率

查看以下选项。

让我们以一种将电子邮件分为“垃圾邮件”或“非垃圾邮件”这两种类别的分类模型为例。如果提高分类阈值,精确率会怎样?
一定会提高。
提高分类阈值通常会使精确率提高;不过,精确率并不一定会随着阈值的提高单调递增。
可能会提高。
一般来说,提高分类阈值会减少假正例,从而提高精确率。
可能会降低。
一般来说,提高分类阈值会减少假正例,从而提高精确率。
一定会降低。
一般来说,提高分类阈值会减少假正例,从而提高精确率。

召回率

查看以下选项。

让我们以一种将电子邮件分为“垃圾邮件”或“非垃圾邮件”这两种类别的分类模型为例。如果提高分类阈值,召回率会怎样?
一定会提高。
提高分类阈值会导致出现以下两种情况:
  • 真正例数量会减少或保持不变。
  • 假负例数量会增加或保持不变。
因此,召回率一定不会提高。
始终下降或保持不变。
提高分类阈值会导致真正例的数量减少或保持不变,而且会导致假负例的数量增加或保持不变。因此,召回率会保持不变或下降。
始终保持不变。
提高分类阈值会导致真正例的数量减少或保持不变,而且会导致假负例的数量增加或保持不变。因此,召回率会保持不变或下降。

精确率和召回率

查看以下选项。

以两个模型(A 和 B)为例,这两个模型分别对同一数据集进行评估。 以下哪一项陈述属实?
如果模型 A 的精确率优于模型 B,则模型 A 更好。
虽然更高的精确率是好事,但可能是以召回率大幅度降低为代价。一般来说,我们需要同时查看精确率和召回率,或者需要汇总曲线下面积等指标(我们将在后面部分进行讨论)。
如果模型 A 的召回率优于模型 B,则模型 A 更好。
虽然更高的召回率是好事,但可能是以精确率大幅度降低为代价。一般来说,我们需要同时查看精确率和召回率,或者需要汇总曲线下面积等指标(我们将在后面部分进行讨论)。
如果模型 A 的精确率和召回率均优于模型 B,则模型 A 可能更好。
一般来说,如果某个模型在精确率和召回率方面均优于另一模型,则该模型可能更好。很显然,我们需要确保在精确率/召回率点处进行比较,这在实践中非常有用,因为这样做才有实际意义。例如,假设我们的垃圾邮件检测模型需要达到至少 90% 的精确率才算有用,并可以避免不必要的虚假警报。在这种情况下,将 {20% 精确率,99% 召回率} 模型与另一个 {15% 精确率,98% 召回率} 模型进行比较不是特别有意义,因为这两个模型都不符合 90% 的精确率要求。但考虑到这一点,在通过精确率和召回率比较模型时,这是一种很好的方式。