희소성을 위한 정규화: 이해도 확인

L1 정규화

아래 옵션을 확인하세요.

100개의 입력 특성이 있는 선형 모델을 떠올려 보세요.
  • 10개는 매우 유용합니다.
  • 90개는 유용하지 않습니다.
  • 모든 특성이 -1과 1 사이의 값을 갖는다고 가정했을 때 다음 중 참인 내용은 무엇일까요?
    L1 정규화는 많은 유용하지 않은 가중치를 (정확히는 아니지만) 0.0에 가깝게 유도합니다.
    일반적으로, 충분한 람다에 대한 L1 정규화는 유용하지 않은 특성이 정확히 가중치 0.0이 되도록 유도하는 경향이 있습니다. L2 정규화와 달리 L1 정규화는 가중치가 0.0에서 얼마나 떨어져 있는지에 관계없이 0.0을 향해 강력하게 '밀어붙입니다.'
    L1 정규화는 대부분의 유용하지 않은 가중치가 정확히 0.0이 되도록 유도합니다.
    충분한 람다에 대한 L1 정규화는 유용하지 않은 가중치가 정확히 0.0이 되도록 유도하는 경향이 있습니다. 이렇게 함으로써 유용하지 않은 특성이 모델에서 사라지게 됩니다.
    L1 정규화는 유용한 특성이 정확히 0.0의 가중치를 얻게 할 수 있습니다.
    L1 정규화는 다음과 같은 특성에 정확하게 가중치 0을 부여할 수 있으므로 주의하세요.
  • 약하게나마 유용한 특성
  • 다양한 조정 상황에서 매우 유용한 특성
  • 비슷하게 유용한 다른 특성과 상관 관계가 매우 높은 유용한 특성
  • L1 정규화와 L2 정규화 비교

    아래 옵션을 확인하세요.

    모두 -1에서 1 사이의 값을 갖는 100개의 입력 특성을 사용하는 선형 모델을 떠올려 보세요.
  • 10개는 매우 유용합니다.
  • 90개는 유용하지 않습니다.
  • 어떤 유형의 정규화가 더 작은 모델을 만들 수 있을까요?
    L2 정규화
    L2 정규화는 특성 개수를 줄이는 일이 거의 없습니다. 다시 말해 L2 정규화는 모델 크기를 줄이는 일이 거의 없습니다.
    L1 정규화
    L1 정규화는 특성 개수를 줄이는 경향이 있습니다. 다시 말해 L1 정규화는 종종 모델 크기를 줄입니다.