단순성을 위한 정규화: 플레이그라운드 실습(과잉 교차란?)

예상 시간: 5분

과잉 교차란?

동영상을 보거나 문서를 읽기 전에 특성 교차의 과도한 사용에 대해 알아보는 이 실습을 완료하세요.

작업 1: 주어진 모든 교차곱 특성을 사용하여 모델을 그대로 실행합니다. 모델이 데이터 적합성을 갖는 방식에 예외적인 부분이 있나요? 어떤 문제가 있나요?

작업 2: 다양한 벡터곱 특성을 제거하여 (미미할지라도) 성능을 개선해 보세요. 왜 특성을 제거하면 성능이 개선될까요?

(답은 실습 바로 아래에 표시됩니다.)

---

---

과제 1의 답을 보려면 드롭다운 화살표를 클릭하세요.

놀랍게도 모델의 결정 경계는 비정상적으로 보입니다. 특히 데이터에 명시적인 근거가 없음에도 불구하고 왼쪽 상단에 파란색 쪽으로 암시하는 영역이 있습니다.

입력에서 출력으로 이어지는 다섯 개 선의 상대적인 두께에 주목하세요. 이러한 선은 다섯 개 특성의 상대적인 가중치를 보여줍니다. X₁과 X₂로부터 뻗어 나온 선은 특성 교차에서 나온 선보다 훨씬 더 두껍습니다. 따라서 특성 교차가 일반 (교차하지 않는) 특성보다 모델에 기여하는 정도가 더 적습니다.

과제 2의 답을 보려면 드롭다운 화살표를 클릭하세요.

모든 특성 교차를 제거하면 더 정상적인 모델을 얻을 수 있으며 (과적합을 암시하는 곡선 경계가 사라짐) 테스트 손실이 수렴하게 됩니다.

1,000회 반복하고 나면 테스트 손실값은 특성 교차가 영향을 미칠 때보다 약간 낮아집니다 (데이터 세트에 따라 결과가 조금 다를 수 있음).

이 실습에서 제공하는 데이터는 기본적으로 선형 데이터이며 노이즈가 포함되어 있습니다. 너무 복잡한 모델(예: 교차가 너무 많은 모델)을 사용하면 학습 데이터의 노이즈에 맞추려고 하기 때문에, 종종 테스트 데이터에서 모델이 잘 작동하지 않기도 합니다.

고객센터