로지스틱 회귀는 정확히 0 또는 1을 예측하는 대신 확률을 생성합니다. 값은 0과 1 사이입니다(제외). 예를 들어 스팸 감지를 위한 로지스틱 회귀 모델이 있다고 가정해 보겠습니다. 모델이 특정 이메일 메시지에서 0.932 값을 추론하는 경우 이메일 메시지가 스팸일 확률이 93.2% 입니다. 더 정확하게 말하면 무한 학습 수 한도에서 모델이 0.932로 예측하는 일련의 사례는 실제로 스팸이 93.2% 이고 나머지 6.8% 는 스팸이 아닙니다.
로지스틱 회귀
동전 던지기 예측
- 구부러진 동전의 앞면이 나올 확률을 예측하는 문제를 생각해 보세요.
- 구부러진 각도, 동전의 질량 등과 같은 특성을 사용할 수 있습니다.
- 사용할 수 있는 가장 간단한 모델은 무엇인가요?
- 어떤 문제가 발생할 수 있을까요?
로지스틱 회귀
- 많은 문제에 출력 확률을 사용합니다.
- 로지스틱 회귀를 입력합니다.
로지스틱 회귀
- 많은 문제에 출력 확률을 사용합니다.
- 로지스틱 회귀를 입력합니다.
- 확률 근사치가 보정되기 때문에 편리합니다.
- 예: p(주택 판매) * price = 예상 결과
로지스틱 회귀
- 많은 문제에 출력 확률을 사용합니다.
- 로지스틱 회귀를 입력합니다.
- 확률 근사치가 보정되므로 편리합니다.
- 예: p(주택 판매) * price = 예상 결과
- 이진 분류가 필요한 경우에도 유용
- 스팸 여부 → p(스팸)
로지스틱 회귀 -- 예측
$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$
\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)
LogLoss 정의
$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$
로지스틱 회귀 및 정규화
- 정규화는 로지스틱 회귀에 매우 중요합니다.
- 점근선 기억
- 고차원에서 계속 손실을 0으로 만들려고 합니다.
로지스틱 회귀 및 정규화
- 정규화는 로지스틱 회귀에 매우 중요합니다.
- 점근선 기억
- 고차원에서 계속 손실을 0으로 만들려고 합니다.
- 다음 두 가지 전략이 특히 유용합니다.
- L2 정규화 (L2 가중치 감소라고도 함) - 큰 가중치에 페널티를 적용합니다.
- 조기 중단 - 학습 단계 또는 학습률을 제한합니다.
선형 로지스틱 회귀
- 선형 로지스틱 회귀는 매우 효율적입니다.
- 학습 및 예측 시간이 매우 빠릅니다.
- 짧거나 넓은 모델은 RAM을 많이 사용합니다.