분류: 이해 내용(정확성, 정밀도, 재현율) 확인

정확성

아래 옵션을 살펴보세요.

다음 중 어떤 시나리오에서 높은 정확성 값을 통해 ML 모델이 제대로 실행되고 있음을 알 수 있나요?
전 세계 인구의 0.01%가 치명적이지만 치유 가능한 질병으로 고통받고 있습니다. ML 모델은 증상을 특징으로 사용하여 99.99%의 정확성으로 이러한 질병을 예측합니다.
여기에서 정확성은 부적절한 측정항목입니다. 결국 항상 '아프지 않음'을 예측하는 '비지능적인' 모델도 여전히 99.99%의 정확성을 나타낼 수 있는데, 실제로 아픈 사람을 '아프지 않음'으로 잘못 예측하면 치명적일 수 있습니다.
비싼 로봇 닭이 혼잡한 도로를 하루에 수천 번 건넙니다. ML 모델은 교통 패턴을 평가하여 이 닭이 안전하게 길을 건널 수 있는 때를 99.99%의 정확성으로 예측합니다.
혼잡한 도로에서 99.99%라는 정확성 값은 ML 모델이 우연의 일치보다 훨씬 더 신뢰할 만하다는 것을 알려줍니다. 하지만 일부 상황에서는 아주 적은 횟수여도 실수로 인한 비용이 여전히 너무 높습니다. 99.99% 정확성은 비싼 닭도 평균 10일에 한 번은 교체되어야 함을 의미합니다. 또한 닭과 충돌하는 차량도 큰 피해를 볼 수 있습니다.
룰렛 게임에서 회전하는 룰렛 휠에 공이 떨어지면 결국 슬롯 38개 중 하나로 들어갑니다. ML 모델은 시각적 특징(공의 회전, 공이 떨어졌을 때 룰렛 휠의 위치, 룰렛 휠 위 공의 높이)을 사용하여 공이 들어갈 슬롯을 4%의 정확성으로 예측할 수 있습니다.
이 ML 모델은 운보다는 훨씬 정확하게 예측합니다. 어림짐작을 하면 38번 중 1번은 정확하므로 2.6%의 정확성을 나타냅니다. 모델의 정확성은 4%에 '불과'하지만 성공의 장점이 실패의 단점보다 훨씬 큽니다.

정밀도

아래 옵션을 살펴보세요.

이메일을 '스팸'과 '스팸 아님', 두 카테고리로 구분하는 분류 모델을 가정해 보겠습니다. 분류 임계값을 올리면 정밀도는 어떻게 될까요?
확실히 증가합니다.
분류 임계값을 올리면 대개 정밀도가 증가합니다. 하지만 정밀도는 임계값 증가에 따라 일정하게 증가하지는 않습니다.
아마도 증가할 것입니다.
일반적으로 분류 임계값을 올리면 거짓양성(FP)이 감소하므로 정밀도가 높아집니다.
아마도 감소할 것입니다.
일반적으로 분류 임계값을 올리면 거짓양성(FP)이 감소하므로 정밀도가 높아집니다.
확실히 감소합니다.
일반적으로 분류 임계값을 올리면 거짓양성(FP)이 감소하므로 정밀도가 높아집니다.

재현율

아래 옵션을 살펴보세요.

이메일을 '스팸'과 '스팸 아님', 두 카테고리로 구분하는 분류 모델을 가정해 보겠습니다. 분류 임계값을 올리면 재현율은 어떻게 될까요?
항상 증가합니다.
분류 임계값을 올리면 다음 두 상황이 발생합니다.
  • 참양성(TP) 수가 감소하거나 그대로 유지됩니다.
  • 허위 음성(FN)수가 증가하거나 그대로 유지됩니다.
따라서 재현율은 절대 증가하지 않습니다.
항상 감소하거나 그대로 유지됩니다.
분류 임계값을 올리면 참양성(TP) 수가 감소하거나 그대로 유지되고 거짓음성(FN) 수가 증가하거나 그대로 유지됩니다. 따라서 재현율이 일정하게 유지되거나 감소합니다.
항상 일정하게 유지됩니다.
분류 임계값을 올리면 참양성(TP) 수가 감소하거나 그대로 유지되고 거짓음성(FN) 수가 증가하거나 그대로 유지됩니다. 따라서 재현율이 일정하게 유지되거나 감소합니다.

정밀도와 재현율

아래 옵션을 살펴보세요.

각각 동일한 데이터세트를 평가하는 두 모델, A와 B가 있다고 가정해 보겠습니다. 다음 설명 중 참인 것은?
모델 A의 정밀도가 모델 B보다 높다면 모델 A가 더 낫습니다.
정밀도가 더 높으면 좋지만 정밀도가 높으면 재현율이 상당히 감소할 수 있습니다. 일반적으로 정밀도와 재현율을 함께 살펴보거나 AUC 같은 요약 측정항목을 살펴보아야 합니다. AUC는 다음에 다룰 예정입니다.
모델 A의 재현율이 모델 B보다 높으면 모델 A가 더 낫습니다.
재현율이 더 높으면 좋지만 재현율이 높으면 정밀도가 크게 감소할 수 있습니다. 일반적으로 정밀도와 재현율을 함께 살펴보거나 AUC 같은 요약 측정항목을 살펴보아야 합니다. AUC는 다음에 다룰 예정입니다.
모델 A의 정밀도와 재현율이 모델 B보다 높은 경우, 모델 A가 더 나을 수 있습니다.
일반적으로 정밀도와 재현율 모두 다른 모델을 능가하는 모델이 더 나을 가능성이 높습니다. 당연히 이 결과가 의미 있으려면 실제로 유용한 정밀도/재현율 지점에서 비교가 이루어졌는지 확인해야 합니다. 예를 들어 스팸 감지 모델의 정밀도가 불필요한 허위 경보를 방지하고 유용하기 위해서는 정밀도가 90% 이상이어야 합니다. 이 경우 {정밀도 20%, 재현율 99%}인 모델을 {정밀도 15%, 재현율 98%}인 다른 모델과 비교하는 경우 두 모델이 모두 90%의 정밀도 요구사항을 충족하지 못하므로 별로 유익하지 않습니다. 그렇지만 이러한 경고를 염두에 두고 정밀도와 재현율을 사용할 때 모델 비교를 고려하는 것이 좋습니다.