희소성을 위한 정규화: 플레이그라운드 운동

컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

L1 정규화 검사

이 연습에는 약간 노이즈가 있는 작은 학습 데이터 세트가 포함되어 있습니다. 이러한 설정에서는 과적합이 매우 중요합니다. 정규화가 도움이 될 수 있지만 어떤 형태의 정규화가 있을까요?

이 연습은 5가지 관련 작업으로 구성됩니다. 5개 태스크에서 비교를 단순화하려면 각 태스크를 별도의 탭에서 실행합니다. 특성과 출력을 연결하는 선의 두께는 각 특성의 상대적 가중치를 나타냅니다.

작업 정규화 유형 정규화율 (람다)
1 2 0.1
2 2 0.3
3 L1 0.1
4 L1 0.3
5 L1 실험

질문:

  1. L2 정규화에서 L1 정규화로 전환하면 테스트 손실과 학습 손실 간의 델타에 어떤 영향을 주나요?
  2. L2 정규화에서 L1 정규화로 전환하면 학습된 가중치에 어떤 영향을 주나요?
  3. L1 정규화율 (람다)을 늘리면 학습된 가중치에 어떤 영향을 주나요?

연습 바로 아래에 답변이 표시됩니다.