L1 정규화
아래 옵션을 살펴보세요.
100개의 입력 특성이 있는 선형 모델이 있다고 가정해 보겠습니다.
10개는 매우 유익한 정보입니다.
90개는 유용하지 않습니다.
모든 특성의 값이 -1과 1 사이라고 가정합니다.
다음 중 올바른 설명은 무엇인가요?
L1 정규화는 많은 유용하지 않은 가중치를 0.0에 가깝게 (정확히는 아님) 장려합니다.
일반적으로 충분한 람다의 L1 정규화는 유용하지 않은 특성을 정확히 0.0의 가중치로 유도하는 경향이 있습니다.
L2 정규화와 달리 L1 정규화는 가중치가 0.0에서 얼마나 떨어져 있는지에 관계없이 0.0을 향해 강세를 둡니다.
L1 정규화는 대부분의 유용하지 않은 가중치가 정확히 0.0이 되도록 유도합니다.
충분한 람다의 L1 정규화는 유용하지 않은 가중치가 정확히 0.0이 되도록 유도하는 경향이 있습니다. 이렇게 하면 유용하지 않은 특성이 모델에서 나갑니다.
L1 정규화로 인해 유익한 특성의 가중치가 정확히 0.0이 될 수 있습니다.
이때 L1 정규화는 다음과 같은 종류의 특성에 정확히 0의 가중치를 부여할 수 있으므로 주의해야 합니다.
약한 정보 특성
다양한 규모에서 매우 유용한 특성
유용한 특성은 다른 비슷한 정보 특성과 깊은 관련이 있습니다.
L1 및 L2 정규화 비교
아래 옵션을 살펴보세요.
입력 특성이 100이고 모두 -1과 1 사이의 값을 갖는 선형 모델이 있다고 가정해 보겠습니다.
10개는 매우 유익한 정보입니다.
90개는 유용하지 않습니다.
더 작은 모델을 생성하는 정규화 유형은 무엇인가요?
L2 정규화
L2 정규화는 특성의 수를 줄이는 경우가 거의 없습니다.
즉, L2 정규화는 모델 크기를 줄이는 일이 거의 없습니다.
L1 정규화
L1 정규화는 특성의 수를 줄이는 경향이 있습니다. 즉, L1 정규화는 종종 모델 크기를 줄입니다.