희소성을 위한 정규화: 플레이그라운드 실습

L1 정규화 검사

이 실습에는 노이즈가 약간 포함된 작은 학습 데이터 세트가 포함되어 있습니다. 이런 설정에서는 과적합이 문제가 됩니다. 정규화가 도움이 될 수 있는데, 어떤 형태의 정규화가 도움이 될까요?

이 연습은 다섯 가지 관련 작업으로 구성됩니다. 5개 작업 간 비교를 간소화하려면 각 작업을 별도의 탭에서 실행합니다. 특성과 출력을 연결하는 선의 두께는 각 특성의 상대적 가중치를 나타냅니다.

작업 정규화 유형 정규화율 (람다)
1 L2 0.1
2 L2 0.3
3 L1 0.1
4 L1 0.3
5 L1 실험

질문:

  1. L2에서 L1으로 정규화를 전환하면 테스트 손실과 학습 손실 사이의 델타에 어떤 영향을 주나요?
  2. L2에서 L1으로 정규화를 전환하면 학습된 가중치에 어떤 영향을 주나요?
  3. L1 정규화율 (람다)을 높이면 학습된 가중치에 어떤 영향을 주나요?

(정답은 연습 바로 아래에 표시됩니다.)