L₁ 정규화 검사

이 연습에는 노이즈가 약간 있는 작고 데이터 세트입니다. 이러한 설정에서는 과적합이 가장 문제가 됩니다. 정규화가 도움이 될 수 있겠지만 정규화의 형태는 무엇일까요?

이 연습은 다섯 가지 관련 작업으로 구성됩니다. 비교 간소화 5개 태스크에서 각 태스크를 별도의 탭에서 실행합니다. 특성과 출력을 연결하는 선의 두께는 각 특성의 상대적 가중치를 나타냅니다.

작업	정규화 유형	정규화율 (람다)
1	왼쪽2	0.1
2	왼쪽2	0.3
3	왼쪽1	0.1
4	왼쪽1	0.3
5	왼쪽1	실험

질문:

1. L₂에서 L₁으로 정규화를 전환하면 어떻게 해야 할까요?
2. L₂에서 L₁으로 정규화를 전환하면 어떤 영향을 미칠까요?
3. L₁ 정규화율 (람다) 증가가 미치는 영향 어떻게 해야 할까요?

(정답은 실습 바로 아래에 표시됩니다.)

---

---

답변을 보려면 더하기 아이콘을 클릭하세요.

1. L₂에서 L₁로 정규화를 급격하게 전환하기 테스트 손실과 학습 손실 사이의 델타를 줄입니다.
2. L₂에서 L₁로 정규화를 전환하면 정규화 감쇠 모든 학습된 가중치가
3. L₁ 정규화율을 높이면 일반적으로 학습된 가중치 정규화율이 너무 높으면 모델이 수렴할 수 없고 손실이 매우 높습니다.