L₂ 정규화 검사

이 실습에는 노이즈가 있는 소규모 학습 데이터 세트가 포함되어 있습니다. 이러한 설정에서는 과적합이 가장 문제가 됩니다. 다행히 도움이 될 수 있습니다

이 실습은 세 가지 관련 작업으로 구성됩니다. 비교 간소화 작업을 수행하는 경우 각 작업을 별도의 탭에서 실행합니다.

• 작업 1: 주어진 모델을 최소 500세대 동안 실행합니다. 참고 다음과 같습니다. <ph type="x-smartling-placeholder">
  </ph>
  • 테스트 손실.
  • 테스트 손실과 학습 손실 사이의 델타입니다.
  • 특성과 특성 교차에 대해 학습된 가중치입니다. (특성에서 출력까지 이어지는 각 선의 상대적 두께는 해당 특성 또는 특성 교차에 대해 학습된 가중치를 나타냅니다. 마우스를 가져가면 있습니다.)
• 작업 2: (별도의 탭에서 이 작업을 수행해 보세요.) 증가 0에서 0.3으로의 정규화율 그런 다음 다음 질문에 대한 답을 찾아보세요. <ph type="x-smartling-placeholder">
  </ph>
  • 작업 2의 테스트 손실과 작업의 테스트 손실은 어떻게 다른가요? 1은
  • 작업 2에서 테스트 손실과 학습 손실 사이의 델타는 어떻게 구하나요? 작업 1과 어떻게 다른가요?
  • 각 특성과 특성 교차에 대해 학습된 가중치가 어떻게 다른가요? 어떻게 해야 할까요?
  • 모델 복잡도에 대해 결과가 의미하는 바는 무엇인가요?
• 작업 3: 정규화율을 사용한 실험으로 최적값입니다.

(정답은 실습 바로 아래에 표시됩니다.)

---

---

답변을 보려면 더하기 아이콘을 클릭하세요.

정규화율을 0에서 0.3으로 높이면 다음과 같은 결과가 나옵니다. 효과:

• 테스트 손실이 크게 감소합니다.

  참고: 테스트 손실은 감소하지만 실제로는 학습 손실이 증가합니다. 다른 사용자 이름을 추가했으므로 이는 예상된 결과입니다. 손실 함수에 포함하여 복잡도에 페널티를 줍니다. 궁극적으로 테스트 손실이 중요합니다. 왜냐하면 그것이 테스트 손실이기 때문입니다. 새로운 데이터를 잘 예측할 수 있습니다.

• 테스트 손실과 학습 손실 사이의 델타 값이 크게 감소합니다.
• 특성과 일부 특성 교차의 가중치가 더 낮음 절댓값입니다. 이는 모델의 복잡도가 낮아진다는 것을 의미합니다.

데이터 세트의 무작위성을 고려할 때 최상의 결과를 생성하는 정규화 비율을 확인할 수 있습니다. 일반적으로 0.3 또는 1의 정규화율은 가장 낮은 테스트 손실을 얻을 수 있습니다