분류: 정확성

정확성은 분류 모델 평가를 위한 측정항목 중 하나입니다. 비공식적으로 정확성은 모델의 예측이 얼마나 정확한가를 보여줍니다. 공식적으로 정확성의 정의는 다음과 같습니다.

$$\text{정확성} = \frac{\text{정확한 예측수}}{\text{총 예측수}}$$

이진 분류에서는 다음과 같이 양성과 음성을 기준으로 정확성을 계산할 수도 있습니다.

$$\text{정확성} = \frac{TP+TN}{TP+TN+FP+FN}$$

여기에서 TP=참 양성(True Positives), TN=참 음성(True Negatives),FP=허위 양성(False Positives), FN=허위 음성(False Negatives)입니다.

다음과 같이 악성으로 분류된 종양(포지티브 클래스) 또는 양성으로 분류된 종양(네거티브 클래스) 모델 100개의 정확성을 계산해 보겠습니다.

참 양성(TP):
  • 실제: 악성
  • ML 모델 예측: 악성
  • 참 양성 결과수: 1
허위 양성(FP):
  • 실제: 양성
  • ML 모델 예측: 악성
  • 허위 양성 결과수: 1
허위 음성(FN):
  • 실제: 악성
  • ML 모델 예측: 양성
  • 허위 음성 결과수: 8
참 음성(TN):
  • 실제: 양성
  • ML 모델 예측: 양성
  • 참 음성 결과수: 90
$$\text{정확성} = \frac{TP+TN}{TP+TN+FP+FN} = \frac{1+90}{1+90+1+8} = 0.91$$

정확성은 0.91 또는 91%(총 100개의 예제 중 정확한 예측 91개)로 나타납니다. 이는 종양 분류자가 악성 종양을 제대로 식별했음을 의미합니다.

실제로 양성 예제와 음성 예제를 더 면밀하게 분석하면 모델의 성능을 자세히 파악할 수 있습니다.

종양 예제 100개 중 91개는 양성(참 음성 90개와 허위 양성 1개)이고, 9개는 악성(참 양성 1개와 허위 음성 8개)입니다.

모델은 양성 종양 91개 중 90개를 양성으로 정확히 식별합니다. 뛰어난 예측 능력입니다. 하지만 악성 종양 9개 가운데 1개만 악성으로 식별합니다. 악성 종양 9개 중 8개가 미확진 상태로 남았다는 것은 형편없는 예측 결과입니다.

언뜻 보기에는 91% 정확성이 좋아 보일 수 있지만 이 예제에서 항상 양성으로 예측하는 다른 종양 분류자 모델도 정확히 동일한 정확성(91/100의 정확한 예측)을 달성할 것입니다. 다시 말해 이 모델은 악성 종양과 양성 종양을 구분하는 예측 능력이 0인 모델과 비교해서 전혀 나을 바가 없다는 것입니다.

이와 같이 클래스 불균형 데이터 세트를 사용하면 양성 라벨수와 음성 라벨수가 상당히 다르므로 정확성만으로는 모든 것을 평가할 수 없습니다.

다음 섹션에서는 클래스 불균형 문제를 평가하는 더 나은 측정항목인 정밀도와 재현율을 살펴보겠습니다.