희소성을 위한 정규화: 플레이그라운드 실습

L1 정규화 검사

이 실습은 작은 학습 데이터를 사용하며 노이즈가 약간 포함되어 있습니다. 이런 설정에서는 과적합이 가장 문제가 됩니다. 정규화를 사용하면 도움이 되겠지만 어떤 형태이어야 할까요?

이 실습은 다섯 가지 관련 작업으로 구성됩니다. 다섯 개 작업 간의 비교를 손쉽게 하기 위해 각 작업을 별도의 탭에서 실행하시기 바랍니다. 특성과 출력을 연결하는 선의 두께는 각 특성의 상대적인 가중치를 나타냅니다.

작업 정규화 유형 정규화율 (람다)
1 L2 0.1
2 L2 0.3
3 L1 0.1
4 L1 0.3
5 L1 실험

질문:

  1. L2에서 L1 으로 정규화를 전환하면 테스트 손실과 학습 손실 사이의 델타에 어떤 영향을 주나요?
  2. L2에서 L1으로 정규화를 전환하면 학습된 가중치에 어떤 영향을 주나요?
  3. L1 정규화율(람다)을 높이면 학습된 가중치에 어떤 영향을 주나요?

(답은 실습 바로 아래에 표시됩니다.)