Lojistik Regresyon: Kayıp ve Normalleştirme

Lojistik Regresyon için kayıp fonksiyonu

Doğrusal regresyonun kayıp işlevi karesel kayıptır. Lojistik regresyon için kayıp işlevi, şu şekilde tanımlanır: Log Loss:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

Bu örnekte:

  • \((x,y)\in D\) değer çifti olan, etiketlenmiş birçok örnek içeren veri kümesidir. \((x,y)\)
  • \(y\) , etiketli bir örnekteki etikettir. Bu, lojistik regresyon olduğundan \(y\) öğesinin her değeri 0 veya 1 olmalıdır.
  • \(y'\) \(x\)içindeki özellik grubuna göre tahmini değerdir (0 ile 1 arasında bir değerdir).

Lojistik Regresyonda Normalleştirme

Lojistik regresyon modellemede normalleştirme son derece önemlidir. Normalleştirme olmadan, lojistik regresyonun astrolojik yapısı, yüksek boyutlarda 0'a doğru kaymaya devam eder. Sonuç olarak, çoğu lojistik regresyon modeli, modelin karmaşıklığını azaltmak için aşağıdaki iki stratejiden birini kullanır:

  • L2 normalleştirmesi.
  • Erken durdurma, yani eğitim adımlarının sayısını veya öğrenme hızını sınırlandırmanız gerekir.

(Üçüncü bir modülde üçüncü bir stratejiyi (L1 normalleştirme) ele alacağız.)

Her örneğe benzersiz bir kimlik atadığınızı ve her kimliği kendi özelliğiyle eşleştirdiğinizi düşünün. Normalleştirme işlevi belirtmezseniz model tamamen uyumlu hale gelir. Bunun nedeni, modelin tüm örneklerde kayıpları sıfıra çekip asla oraya ulaşmayacakları için her bir gösterge özelliğinin ağırlıklarını +sonsuzluk veya sonsuzluk olacak şekilde yükseltmesi olacak. Bu durum, her birinin yalnızca bir örneğinde meydana gelen çok sayıda nadir haçın bulunduğu özellik haçlarıyla yüksek boyutlu verilerde ortaya çıkabilir.

Neyse ki L2'ı kullanmak veya erken durdurmak bu sorunu önler.

 

Önceki
Olasılığı Hesaplama
Sonraki
Video Ders