희소성을 위한 정규화

이 모듈에서는 많은 차원을 갖는 특성 벡터에 대해 학습한 모델의 특수 요구사항에 중점을 둡니다.

희소성을 위한 정규화

  • 주의: 희소 특성 교차는 특성 공간을 크게 늘릴 수 있습니다.
  • 가능한 문제:
    • 모델 크기(RAM)가 매우 커질 수 있음
    • '노이즈' 계수(과적합의 원인)
  • L0 가중치 기준에 페널티를 주고자 함
    • 볼록하지 않은 최적화, NP-난해
  • L0 가중치 기준에 페널티를 주고자 함
    • 볼록하지 않은 최적화, NP-난해
  • L1 정규화로의 완화:
    • 절대값(가중치)의 합에 페널티를 줌
    • 볼록 문제
    • L2와는 달리 희소성을 유도