정확성
아래 옵션을 살펴보세요.
다음 중 정확성이 높은 시나리오일 때 ML 모델의 성능이 좋음을 나타내는 시나리오는 무엇인가요?
치명적이지만 완치 가능한 질병은 인구의 0 .01% 에게 영향을 미칩니다. ML 모델은 증상을 특성으로 사용하고 이 질환을 99.99%의 정확성으로 예측합니다.
이 경우 정확성은 낮은 측정항목입니다. 결국 '아프지 않음'을 예측하는 '멍청한' 모델도 여전히 99.99% 의 정확성을 제공할 것입니다.
실제로 아픈 사람을 잘못 예측하는 것은 치명적일 수 있습니다.
고가의 로봇 닭은 매일 천 번은 붐비는 도로를 가로지릅니다. ML 모델은 교통 패턴을 평가하고 이 닭이 언제 안전하게 99.99%의 거리를 횡단할 수 있는지 예측합니다.
매우 붐비는 도로에서 99.99% 의 정확성 값은 ML 모델의 가능성이 훨씬 더 높음을 의미합니다. 그러나 일부 설정에서는
조금이라도 실수를 하더라도 비용이 너무 많이 듭니다.
99.99% 의 정확성은 비싼 닭고기를 평균 10일마다
교체해야 한다는 의미입니다. 닭을 치면 차량이 크게 손상될 수도 있습니다.
룰렛 게임에서 공은 회전하는 휠에 드롭되어 결국 38개 슬롯 중 하나에 들어갑니다. ML 모델은 시각적 특성 (공의 회전, 공이
떨어졌을 때 휠의 위치, 휠 위에 있는 공의 높이)을 사용하여
공이 닿을 슬롯을 4%의 정확도로 예측할 수 있습니다.
이 ML 모델은 확률을 훨씬 더 높여줍니다. 무작위 추측은 확률의 1/38에 불과하므로 정확도가 2.6%에 달합니다.
모델의 정확성은 4%에 불과하지만 성공의 이점이 실패의 단점보다 훨씬 큽니다.
정밀도
아래 옵션을 살펴보세요.
이메일을 '스팸' 또는 '스팸 아님'의 2개 카테고리로 분류하는 분류 모델을 살펴보겠습니다. 분류 임곗값을 높이면 정밀도는
어떻게 될까요?
확실히 증가합니다.
분류 임곗값을 높이면 일반적으로 정밀도가 높아집니다. 하지만 임곗값이 올라가면 정밀도가 단조롭게 증가한다는 보장이 없습니다.
증가할 수 있습니다.
일반적으로 분류 임곗값을 높이면 거짓양성이 감소하므로 정밀도가 높아집니다.
감소한 것 같습니다.
일반적으로 분류 임곗값을 높이면 거짓양성이 감소하므로 정밀도가 높아집니다.
확실히 감소합니다.
일반적으로 분류 임곗값을 높이면 거짓양성이 감소하므로 정밀도가 높아집니다.
재현율
아래 옵션을 살펴보세요.
이메일을 '스팸' 또는 '스팸 아님'의 2개 카테고리로 분류하는 분류 모델을 살펴보겠습니다. 분류 임곗값을 높이면 어떤 결과가 재현되나요?
항상 증가
분류 임곗값을 높이면 다음 두 상황이 모두 발생합니다.
- 참양성 수가 감소하거나 동일하게 유지됩니다.
- 거짓음성의 수는 증가하거나 동일하게 유지됩니다.
항상 입찰가를 낮추거나 동일하게 유지합니다.
분류 임곗값을 높이면 참양성 수가 감소하거나 동일하게 유지되며 거짓음성 수가 증가하거나 동일하게 유지됩니다. 따라서 재현율은 일정하게 유지되거나 감소합니다.
항상 일정하게
분류 임곗값을 높이면 참양성 수가 감소하거나 동일하게 유지되며 거짓음성 수가 증가하거나 동일하게 유지됩니다. 따라서 재현율은 일정하게 유지되거나 감소합니다.
정밀도와 재현율
아래 옵션을 살펴보세요.
각각 동일한 데이터 세트를 평가하는 두 가지 모델 A와 B를 생각해 보세요.
다음 중 올바른 설명은 무엇인가요?
모델 A의 정확성이 모델 B보다 높으면 모델 A가 더 낫습니다.
정밀도가 더 높으면 좋지만 재현율이
크게 저하될 수 있습니다. 일반적으로 정밀도와 재현율을 함께 살펴보고 AUC와 같은 요약 측정항목을 살펴보아야 합니다. AUC는 다음에 다룰 것입니다.
모델 A의 재현율이 모델 B보다 높다면 모델 A가 더 낫습니다.
재현율이 더 높으면 좋지만 재현율이 정밀하게 낮아질 수 있습니다. 일반적으로 정밀도와 재현율을 함께 살펴보고 AUC와 같은 요약 측정항목을 살펴보아야 합니다. AUC는 다음에 다룰 것입니다.
모델 A의 정확성과 재현율이 모델 B보다 높으면 모델 A가 더 나을 것입니다.
일반적으로 정밀도와 재현율에서 다른 모델을 능가하는 모델이 더 낫습니다. 따라서 유의미한 결과를 얻기 위해 실제로 유용한 정밀도 / 재현율 지점에서 비교가 이루어지는지 확인해야 합니다. 예를 들어 스팸 감지 모델의 유용성이 높아지고 불필요한 허위 경보를 피하려면 정밀도가 90% 이상이어야 합니다. 이 경우 {정밀도 20%, 재현율 99%} 모델, 정밀도 15%, 재현율 98% 인 모델을 비교하면 두 모델 모두 90% 정밀도 요구사항을 충족하지 않기 때문에 특별히 유익한 것은 아닙니다. 그러나 이 점을 염두에 두고 정밀도와 재현율을 사용할 때 모델을 비교하는 것이 좋습니다.