精度
以下の選択肢をご確認ください。
次のシナリオのうち、ML モデルが適切に機能していることを示す精度の高い値は、次のうちどれですか。
致命的だが治る病状は人口の 0.01% に影響を及ぼします。ML モデルでは、特徴を特徴として使用し、このアフィリエーションを 99.99% の精度で予測します。
ここでの精度は指標として不適切です。結局のところ、「病気ではなく」を常に予測する「dumb」は 99.99% の精度です。病気に遭っている人を間違って「予測しない」と予測してしまうと、致命的になる可能性があります。
高価なロボットニワトリが 1 日 1,000 回、非常に交通量の多い道路と交差している。ML モデルで交通パターンを評価し、この鶏が 99.99% の精度で安全に通りを越えることができるかどうかを予測します。
交通量の多い道路では 99.99% の精度値が得られるということは、ML モデルが確率よりもはるかに高いことを示しています。ただし、一部の設定では、わずかなミスでもコストが高すぎます。精度が 99.99% の場合、高価な鶏肉を平均で 10 日ごとに交換する必要があります。（鶏肉が、自動車に衝突する重大な損傷を引き起こす可能性もあります）。
ルーレットのゲームでは、ボールが回転するホイールに落とし、最終的に 38 スロットのうちの 1 つに到達します。視覚的な特徴（ボールのスピン、ボールが落下したときのホイールの位置、ホイール上でのボールの高さ）を使用して、ML モデルでは、ボールが配置されるスロットを 4% の精度で予測できます。
この ML モデルは、予測をはるかに上回る精度です。確率は 1/38 で、精度は 2.6% になります。モデルの精度は「4%」にとどまりますが、成功のメリットは失敗のデメリットをはるかに上回ります。
適合率
以下の選択肢をご確認ください。
メールを「迷惑メール」または「迷惑メールではない」の 2 つのカテゴリに分類する分類モデルについて検討してください。分類しきい値を引き上げると、精度はどうなりますか？
明らかに増加している。
通常、分類しきい値を上げると精度が上がります。ただし、しきい値を上げると、の精度が単調に向上するとは限りません。
おそらく増加するでしょう。
一般に、分類しきい値を上げると誤検出が減り、精度が向上します。
おそらく減少する。
一般に、分類しきい値を上げると誤検出が減り、精度が向上します。
明らかに減少している。
一般に、分類しきい値を上げると誤検出が減り、精度が向上します。
再現率
以下の選択肢をご確認ください。
メールを「迷惑メール」または「迷惑メールではない」の 2 つのカテゴリに分類する分類モデルについて検討してください。分類しきい値を引き上げると、何が再現されますか。
常に増やす。
分類しきい値を上げると、次の両方が発生します。
- 真陽性の数は減少するか、同じままになります。
- 偽陰性の数は増加するか、変化しません。
常に減らすか、同じ価値を維持する。
分類しきい値を引き上げると、真陽性の数が減少または同じになり、偽陰性の数が増加または減少します。再現率は一定に保たれ、減少します。
常に一定に保ちましょう。
分類しきい値を引き上げると、真陽性の数が減少または同じになり、偽陰性の数が増加または減少します。再現率は一定に保たれ、減少します。
適合率と再現率
以下の選択肢をご確認ください。
同じデータセットを評価する 2 つのモデル（A と B）を考えてみましょう。次の説明のうち正しいものはどれですか。
モデル A の方がモデル B よりも精度が高い場合は、モデル A の方が適しています。
適合率は高くなりますが、再現率は大幅に低下する可能性があります。一般的には、適合率と再現率を一緒に確認するか、次に説明する AUC のようなサマリー指標を確認する必要があります。
モデル A がモデル B よりも再現率が高い場合、モデル A の方が適しています。
再現率は高くなりますが、再現率は大幅に低下する可能性があります。一般的には、適合率と再現率を一緒に確認するか、AUC などの要約指標について確認する必要があります。これについては、次に説明します。
モデル A の方がモデル B よりも精度が高く、再現率が高い場合、モデル A の方が優れていると考えられます。
一般に、適合率と再現率の面で別のモデルより優れたモデルのほうが、優れたモデルであると考えられます。もちろん、比較が実用的であれば、精度 / 再現率の点で比較できるようにする必要があります。たとえば、スパム検出モデルを利用するために 90% 以上の精度が必要であり、不要な誤警報を回避する必要があるとします。この場合、あるモデルの精度が 20%、99% の再現率、あるモデルと {15% の精度、98% の再現率} では、90% の精度の要件を満たさないため、特に有益とは言えません。ただし、この点を念頭に置いて、適合率と再現率を使用するときにモデルを比較検討することをおすすめします。