L1 정규화 검사
이 연습에는 약간 노이즈가 있는 작은 학습 데이터 세트가 포함되어 있습니다. 이러한 설정에서는 과적합이 매우 중요합니다. 정규화가 도움이 될 수 있지만 어떤 형태의 정규화가 있을까요?
이 연습은 5가지 관련 작업으로 구성됩니다. 5개 태스크에서 비교를 단순화하려면 각 태스크를 별도의 탭에서 실행합니다. 특성과 출력을 연결하는 선의 두께는 각 특성의 상대적 가중치를 나타냅니다.
| 작업 | 정규화 유형 | 정규화율 (람다) |
|---|---|---|
| 1 | 2 | 0.1 |
| 2 | 2 | 0.3 |
| 3 | L1 | 0.1 |
| 4 | L1 | 0.3 |
| 5 | L1 | 실험 |
질문:
- L2 정규화에서 L1 정규화로 전환하면 테스트 손실과 학습 손실 간의 델타에 어떤 영향을 주나요?
- L2 정규화에서 L1 정규화로 전환하면 학습된 가중치에 어떤 영향을 주나요?
- L1 정규화율 (람다)을 늘리면 학습된 가중치에 어떤 영향을 주나요?
연습 바로 아래에 답변이 표시됩니다.