일반화

일반화는 모델이 이를 만들기 위해 사용된 것과 같은 분포에서 추출된 이전에 보지 못했던 새로운 데이터에 제대로 적합할 수 있는지를 나타냅니다.

일반화

모델의 주기, 예측, 샘플, 실제 분포 확인, 추가 샘플링
  • 목표: 숨겨진 실제 분포에서 추출된 새로운 데이터를 제대로 예측
  • 문제: 진실을 알 수 없음
    • 분포에서 추출된 샘플만 볼 수 있음
모델의 주기, 예측, 샘플, 실제 분포 확인, 추가 샘플링
  • 목표: 숨겨진 실제 분포에서 추출된 새로운 데이터를 제대로 예측
  • 문제: 진실을 알 수 없음
    • 분포에서 추출된 샘플만 볼 수 있음
  • 모델 h가 현재 샘플에 적합하면 다른 새로운 샘플도 잘 예측할 것이라고 신뢰할 수 있나요?
  • 이론적인 측면:
    • 흥미로운 분야: 일반화 이론
    • 모델의 단순성/복잡성 측정 아이디어를 기반으로 함
  • 직관: 오컴의 면도날 원칙의 형식화
    • 모델이 덜 복잡할수록 샘플 자체의 특성을 벗어나 좋은 경험적 결과를 얻을 가능성이 높음
  • 경험적인 측면:
    • 질문: 모델이 새로운 데이터 샘플에 효과적으로 작동하나요?
    • 평가: 새로운 데이터 샘플을 얻습니다(테스트 세트라고 함).
    • 모델이 테스트 세트에서 효과적으로 작동하면 다음과 같은 경우 새로운 데이터에도 잘 작동할 것이라고 추정할 수 있음
      • 테스트 세트가 충분히 큰 경우
      • 테스트 세트를 반복적으로 사용하지 않는 경우

위의 경우 모두 기본적으로 다음 세 가지를 가정합니다.

  1. 분포에서 독립적이고 동일한 방식으로(i.i.d.) 임의로 예를 추출합니다.
  2. 분포가 정상성을 보이며 시간이 지나도 변하지 않습니다
  3. 학습, 유효성 검사 및 테스트 세트를 항상 같은 분포에서 추출합니다.