L2 Normalleştirme
Aşağıdaki seçeneklere göz atın.
100 giriş özelliğine sahip bir doğrusal model düşünün:
10 tanesi son derece bilgilendiricidir.
90'ında bilgi yoktur.
Tüm özelliklerin -1 ile 1 arasında değerlere sahip olduğunu varsayalım.
Aşağıdaki ifadelerden hangisi doğrudur?
L2 normalleştirmesi, bilgi amaçlı olmayan ağırlıkların birçoğunu neredeyse (ancak tam olarak değil) 0,0 değerine teşvik eder.
Evet, L2 normalleştirmesi, ağırlıkların 0,0'a yakın olmasını önerir ancak tam olarak 0,0'a yakın değildir.
L2 normalleştirmesi, bilgi amaçlı olmayan ağırlıkların çoğunun tam olarak 0,0 olmasını sağlar.
L2 normalleştirmesi, ağırlıkları tam olarak 0,0'a zorlama eğiliminde değildir. L2 normalleştirmesi, daha büyük ağırlıklara küçük ağırlıklardan daha fazla ceza uygular. Ağırlık 0,0'a yaklaştıkça L2, 0.0'a doğru daha az kuvvetli bir şekilde "ilerler".
L2 normalleştirmesi, modelin bilgilendirici olmayan bazı özellikler için orta düzeyde ağırlık öğrenmesine neden olabilir.
Şaşırtıcı şekilde, bu hata, bilgilendirici olmayan bir özelliğin etiketle ilişkili olduğu durumlarda gerçekleşebilir. Bu durumda model, bu tür bilgilendirici olmayan özelliklere hatalı bir şekilde, bilgilendirici özelliklere yönelik olması gereken "kredinin" bir kısmını verir.
L2 Normalleştirme ve İlişkilendirilen Özellikler
Aşağıdaki seçeneklere göz atın.
Güçlü bir şekilde ilişkili iki özelliğe sahip doğrusal bir model düşünün. Diğer bir deyişle, bu iki özellik birbirinin neredeyse aynı kopyalarıdır ancak bir özellik az miktarda rastgele gürültü içermektedir. Bu modeli L2 normalleştirmesiyle eğitirsek bu iki özelliğin ağırlıklarına ne olur?
Her iki özellik de aşağı yukarı eşit ve orta düzey ağırlıklara sahip olacaktır.
L2 normalleştirmesi, özellikleri, modelde yer alan iki özellikten yalnızca biri olması durumunda olması gereken ağırlıkların yaklaşık yarısına eşit ağırlıkta olmaya zorlar.
Bir özelliğin ağırlığı büyük, diğerinin ağırlığı neredeyse 0,0 olur.
L2 normalleştirmesi, büyük ağırlıklara küçük ağırlıklardan daha fazla ceza uygular. Bu sayede, bir ağırlık diğerinden daha hızlı düşmeye başlasa bile L2 normalleştirmesi, büyük ağırlığın daha küçük olan ağırlıktan daha hızlı düşmeye zorlanmasını sağlayabilir.
Bir özelliğin ağırlığı büyük, diğerinin ağırlığı tam olarak 0,0 olur.
L2 normalleştirmesi, ağırlıkları nadiren tam olarak 0,0'a zorlar. Buna karşılık, L1 normalleştirmesi (daha sonra açıklanacaktır) ağırlıkları tam olarak 0,0'a zorlar.