分類: 精度

精度は、分類モデルを評価するための指標の一つです。非公式には、精度とはモデルの予測のうち、正解の割合です。正式には、精度は次のように定義されます。

$$\text{Accuracy} = \frac{\text{Number of correct predictions}}{\text{Total number of predictions}}$$

バイナリ分類の場合、次のように、陽性と陰性の観点から精度を計算できます。

$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN}$$

ここで、TP = 真陽性、TN = 真陰性、FP = 偽陽性、FN = 偽陰性。

次のモデルの精度を計算してみましょう。100 の腫瘍を悪性（陽性のクラス）または良性（陰性のクラス）に分類しました。

真陽性（TP）:
  • 現実: 悪意がある
  • 予測される ML モデル: 悪質
  • TP の結果の数: 1
 偽陽性（FP）:
  • 真実: 無害
  • 予測される ML モデル: 悪質
  • FP の結果の数: 1
偽陰性（FN）:
  • 現実: 悪意がある
  • ML モデルの予測: 無害
  • FN の結果数: 8
 真陰性（TN）:
  • 真実: 無害
  • ML モデルの予測: 無害
  • TN の結果の数: 90
$$\text{Accuracy} = \frac{TP+TN}{TP+TN+FP+FN} = \frac{1+90}{1+90+1+8} = 0.91$$

精度は 0.91、つまり 91% になります（合計 100 の例のうち 91 の正しい予測）。つまり、YouTube の腫瘍分類器は、悪性悪性症の検出に非常に役立っています。

実際には、陽性と陰性を詳細に分析して、モデルのパフォーマンスに関するより多くの分析情報を取得します。

100 のがん例のうち、91 は有害（90 TN と 1 FP）であり、9 は悪性（1 TP と 8 FN）です。

モデルは 91 の良性腫瘍のうち、90 を正しく判断しています。いいですね。しかし、9 つの悪性腫瘍のうち、正しくない形で 1 つしか識別されません。つまり、9 つの悪性疾患のうち 8 つが診断されず、非常に悪い結果となります。

一見すると 91% の精度は良いように思えますが、無害を常に予測する別の腫瘍分類モデルは、この例でまったく同じ精度（91/100 の正しい予測）を達成します。言い換えると、Google のモデルは、悪性腫瘍と有害腫瘍を区別する予測能力がまったくないモデルよりは優れています。

このようなクラス不均衡なデータセットを使用する場合、精度だけではすべてを語ることはできません。こうしたデータセットでは、正と負のラベルの数に大きな差が生じます。

次のセクションでは、クラス不均衡な問題を評価するための 2 つの優れた指標である適合率と再現率について説明します。

 

前へ
True と False。正と負
次へ
適合率と再現率