분류: 예측 편향

예측 편향을 계산하면 모델 또는 학습 데이터의 문제를 초기에 파악할 수 있습니다.

예측 편향은 모델의 예측 평균과 데이터의 정답 라벨 평균 간의 차이입니다. 이메일의 5% 가 스팸인 데이터 세트로 학습된 모델은 분류하는 이메일의 5% 가 스팸이라고 평균적으로 예측해야 합니다. 즉, 정답 데이터 세트의 라벨 평균은 0.05이며 모델의 예측 평균도 0.05여야 합니다. 이 경우 모델의 예측 편향은 0입니다. 물론 모델에 다른 문제가 있을 수도 있습니다.

모델이 이메일이 스팸이라고 50% 의 시간 동안 예측한다면 학습 데이터 세트, 모델이 적용되는 새 데이터 세트 또는 모델 자체에 문제가 있는 것입니다. 두 평균 간에 유의미한 차이가 있으면 모델에 예측 편향이 있음을 나타냅니다.

예측 편향은 다음과 같은 이유로 발생할 수 있습니다.

• 학습 세트의 편향된 샘플링을 비롯한 데이터의 편향 또는 노이즈
• 정규화가 너무 강해서 모델이 지나치게 단순화되어 필요한 복잡성이 손실됨
• 모델 학습 파이프라인의 버그
• 모델에 제공된 기능이 작업에 충분하지 않음

핵심 용어:

• 정답
• 예측
• 예측 편향

고객센터