L1 정규화 검사
이 실습은 작은 학습 데이터를 사용하며 노이즈가 약간 포함되어 있습니다. 이런 설정에서는 과적합이 가장 문제가 됩니다. 정규화를 사용하면 도움이 되겠지만 어떤 형태이어야 할까요?
이 실습은 다섯 가지 관련 작업으로 구성됩니다. 다섯 개 작업 간의 비교를 손쉽게 하기 위해 각 작업을 별도의 탭에서 실행하시기 바랍니다. 특성과 출력을 연결하는 선의 두께는 각 특성의 상대적인 가중치를 나타냅니다.
| 작업 | 정규화 유형 | 정규화율 (람다) |
|---|---|---|
| 1 | L2 | 0.1 |
| 2 | L2 | 0.3 |
| 3 | L1 | 0.1 |
| 4 | L1 | 0.3 |
| 5 | L1 | 실험 |
질문:
- L2에서 L1 으로 정규화를 전환하면 테스트 손실과 학습 손실 사이의 델타에 어떤 영향을 주나요?
- L2에서 L1으로 정규화를 전환하면 학습된 가중치에 어떤 영향을 주나요?
- L1 정규화율(람다)을 높이면 학습된 가중치에 어떤 영향을 주나요?
(답은 실습 바로 아래에 표시됩니다.)