이 모듈을 시작하기 전에 학습 및 테스트 세트에 설명된 학습 프로세스를 사용하는 데
문제가 있는지 확인해 보세요.
아래 옵션을 살펴보세요.
테스트 세트 및 학습 세트를 사용하여 모델 개발 반복을 진행하는 프로세스를 살펴보았습니다. 반복할 때마다 학습 데이터를 학습하고 테스트 데이터로 평가합니다. 이때 테스트 데이터의 평가 결과를 사용하여 학습률 및 특성과 같은 다양한 모델 초매개변수를 선택하고 변경할 수 있습니다. 이 접근 방식에 문제가 있나요? (정답을 하나만 선택하세요.)
괜찮습니다. 학습 데이터로 학습하고 별도의 홀드아웃 테스트 데이터로 평가하고 있습니다.
사실, 여기 미묘한 문제가 있습니다. 이 형식을 수차례에 걸쳐
반복한다면 어떤 일이 일어날지 생각해 보세요.
이 절차를 여러 번 반복하면 특정 테스트 세트의 특이성에
암묵적으로 적용될 수 있습니다.
예, 맞습니다. 주어진 테스트 세트에서 자주 평가할수록 해당 테스트 세트에 대한
암시적 과적합이 발생할 위험이 커집니다.
다음으로 더 나은 프로토콜을 살펴보겠습니다.
이는 계산적으로 비효율적입니다. 기본 초매개변수 집합만 선택하고 이를 그대로 사용하여 리소스를 절약해야 합니다.
이러한 종류의 반복은 비용이 많이 들지만 모델 개발에서 중요한 부분입니다. 초매개변수 설정은 모델 품질에 엄청난 차이를 만들 수 있으므로 항상 최고의 품질을 얻을 수 있도록 시간과 컴퓨팅 리소스를 어느 정도 책정해야 합니다.
