真陽性、偽陽性、真陰性、偽陰性を使用して、モデルの評価に役立ついくつかの指標を計算します。どの評価指標が最も意味があるかは、特定のモデルと特定のタスク、さまざまな誤分類のコスト、データセットのバランスが取れているかどうかによって異なります。
このセクションの指標はすべて、単一の固定しきい値で計算され、しきい値が変更されると変化します。多くの場合、ユーザーはこれらの指標のいずれかを最適化するためにしきい値を調整します。
精度
精度は、陽性か陰性かを問わず、正しかった分類の割合です。数学的には次のように定義されます。
\[\text{Accuracy} = \frac{\text{correct classifications}}{\text{total classifications}} = \frac{TP+TN}{TP+TN+FP+FN}\]
迷惑メールの分類の例では、精度は正しく分類されたすべてのメールの割合を測定します。
完全なモデルでは、偽陽性と偽陰性がゼロになるため、精度は 1.0（100%）になります。
混同行列（TP、FP、TN、FN）の 4 つの結果すべてが組み込まれているため、両方のクラスに同数のサンプルを含むバランスの取れたデータセットの場合、精度はモデルの品質の粗い指標として使用できます。このため、汎用タスクを実行する汎用モデルや未指定のモデルで使用されるデフォルトの評価指標としてよく使用されます。
ただし、データセットが不均衡な場合や、一方の種類の誤り（FN または FP）が他方よりもコストが高い場合（ほとんどの実際のアプリケーションで当てはまります）、代わりに他の指標のいずれかを最適化することをおすすめします。
1 つのクラスが 1% などの非常に低い頻度で出現する不均衡なデータセットの場合、常に負の値を予測するモデルは、役に立たないにもかかわらず、精度が 99% になります。
再現率（真陽性率）
真陽性率（TPR）（実際に陽性であるすべてのサンプルのうち、陽性と正しく分類されたサンプルの割合）は、再現率とも呼ばれます。
再現率は数学的に次のように定義されます。
\[\text{Recall (or TPR)} = \frac{\text{correctly classified actual positives}}{\text{all actual positives}} = \frac{TP}{TP+FN}\]
偽陰性は、実際には陽性であるにもかかわらず陰性と誤分類されたものです。そのため、分母に表示されます。迷惑メールの分類の例では、再現率は迷惑メールとして正しく分類された迷惑メールの割合を測定します。そのため、再現率は検出確率とも呼ばれます。これは、「このモデルで検出されるスパムメールの割合はどのくらいか？」という質問に答えるものです。
理想的なモデルでは、偽陰性がゼロになるため、再現率（TPR）は 1.0、つまり検出率は 100% になります。
実際の陽性数が非常に少ない不均衡なデータセットでは、再現率のほうが精度よりも意味のある指標になります。これは、再現率がすべての陽性インスタンスを正しく識別するモデルの能力を測定するためです。病気の予測などのアプリケーションでは、陽性例を正しく特定することが重要です。通常、偽陰性は偽陽性よりも深刻な結果を招きます。再現率と精度指標を比較する具体的な例については、再現率の定義のメモをご覧ください。
偽陽性率
偽陽性率（FPR）は、実際に陰性だったもののうち、陽性と誤って分類されたものの割合です。これは、誤報の確率とも呼ばれます。数学的には次のように定義されます。
\[\text{FPR} = \frac{\text{incorrectly classified actual negatives}} {\text{all actual negatives}} = \frac{FP}{FP+TN}\]
偽陽性は、誤分類された実際の陰性であるため、分母に表示されます。迷惑メールの分類の例では、FPR は迷惑メールとして誤って分類された正当なメールの割合、つまりモデルの誤報率を測定します。
完全なモデルでは偽陽性がゼロになるため、FPR は 0.0、つまり誤報率は 0% になります。
不均衡なデータセットの場合、一般に FPR は精度よりも有益な指標です。ただし、実際のネガティブの数が非常に少ない場合、FPR は変動性が高いため、理想的な選択肢ではない可能性があります。たとえば、データセットに実際のネガティブが 4 つしかない場合、1 つの誤分類で FPR は 25% になり、2 つ目の誤分類で FPR は 50% に跳ね上がります。このような場合、適合率（後述）は、偽陽性の影響を評価するためのより安定した指標となる可能性があります。
適合率
適合率は、モデルのすべての陽性分類のうち、実際に陽性であるものの割合です。数学的には次のように定義されます。
\[\text{Precision} = \frac{\text{correctly classified actual positives}} {\text{everything classified as positive}} = \frac{TP}{TP+FP}\]
迷惑メールの分類の例では、適合率は迷惑メールとして分類されたメールのうち、実際に迷惑メールであった割合を測定します。
理想的な完全なモデルでは、偽陽性がゼロになるため、適合率は 1.0 になります。
真陽性の数が非常に少ない不均衡なデータセット（合計で 1 ～ 2 個の例など）では、精度は指標としてあまり意味がなく、有用性も低くなります。
偽陽性が減少すると適合率が向上し、偽陰性が減少すると再現率が向上します。ただし、前のセクションで説明したように、分類しきい値を上げると偽陽性の数が減り、偽陰性の数が増える傾向があります。しきい値を下げると、逆の効果があります。そのため、適合率と再現率は逆相関を示すことが多く、一方を改善すると他方が悪化します。
試してみましょう:
指標の選択とトレードオフ
モデルを評価してしきい値を選択する際に優先する指標は、特定の問題の費用、メリット、リスクによって異なります。迷惑メールの分類の例では、すべての迷惑メールを検出する再現率、迷惑メールとラベル付けされたメールが実際に迷惑メールであることを確認する精度、またはその 2 つのバランスを最小限の精度レベル以上に優先することがよくあります。
| 指標 | ガイダンス |
|---|---|
| 精度 | バランスの取れたデータセットのモデル トレーニングの進行状況/収束の目安として使用します。 モデルのパフォーマンスについては、他の指標と組み合わせてのみ使用します。 不均衡なデータセットには使用しないでください。別の指標の使用をご検討ください。 |
| 再現率 （真陽性率） |
偽陰性の方が偽陽性よりもコストが高い場合に使用します。 |
| 偽陽性率 | 偽陽性のコストが偽陰性よりも高い場合に使用します。 |
| 適合率 | 正の予測の精度が非常に重要な場合に使用します。 |