L1 normalleştirmesi
Aşağıdaki seçeneklere göz atın.
100 giriş özelliğine sahip bir doğrusal model düşünün:
10 tanesi son derece bilgilendiricidir.
90'ında bilgi yoktur.
Tüm özelliklerin -1 ile 1 arasında değerlere sahip olduğunu varsayalım.
Aşağıdaki ifadelerden hangisi doğrudur?
L1 normalleştirmesi, bilgi amaçlı olmayan ağırlıkların çoğunu 0,0'a yakın (ancak tam olarak değil) olacak şekilde teşvik eder.
Genel olarak, yeterli lambda'nın L1 normalleştirilmesi, bilgi içermeyen özellikleri tam olarak 0,0 ağırlıklara teşvik etme eğilimindedir.
L2 normalleştirmesinin aksine L1 normalleştirmesi, ağırlık 0,0'dan ne kadar uzakta olursa olsun 0,0'a doğru "ilerler".
L1 normalleştirmesi, bilgi amaçlı olmayan ağırlıkların çoğunu tam olarak 0,0 değerine teşvik eder.
Yeterli lambdanın L1 normalleştirilmesi, bilgi amaçlı olmayan ağırlıkların tam olarak 0,0 olmasını teşvik etme eğilimindedir. Böylece, bu bilgi sağlamayan özellikler modelden ayrılır.
L1 normalleştirmesi, bilgilendirici özelliklerin tam olarak 0,0 ağırlığa sahip olmasına neden olabilir.
Dikkatli olun: L1 normalleştirmesi, aşağıdaki özellik türlerine tam olarak 0 ağırlık verilmesine neden olabilir:
Zayıf bilgilendirici özellikler.
Farklı ölçeklerde son derece bilgilendirici özellikler.
Bilgilendirici özellikler, benzer bilgilendirici özelliklerle yakından ilişkilidir.
L1 ve L2 Normalleştirmesi
Aşağıdaki seçeneklere göz atın.
Tüm giriş özellikleri -1 ile 1 arasında olan 100 giriş özelliğine sahip doğrusal bir model düşünün:
10 tanesi son derece bilgilendiricidir.
90'ında bilgi yoktur.
Hangi tür normalleştirme daha küçük modeli üretir?
L2 normalleştirmesi.
L2 normalleştirmesi, özellik sayısını nadiren azaltır.
Diğer bir deyişle, L2 normalleştirmesi model boyutunu nadiren azaltır.
L1 normalleştirmesi.
L1 normalleştirmesi, özelliklerin sayısını azaltma eğilimindedir. Diğer bir deyişle, L1 normalleştirmesi genellikle model boyutunu azaltır.