Çok Sınıflı Nöral Ağlar: Softmax

Lojistik regresyonun, 0 ile 1,0 arasında bir ondalık sayı oluşturduğunu unutmayın. Örneğin, bir e-posta sınıflandırıcısından 0,8 çıkış yapan lojistik regresyon çıktısı, bir e-postanın% 80 spam, %20'sinin spam olma olasılığını belirtir. Bir e-postanın spam olma veya spam olmama ihtimalinin 1,0 olduğu açıktır.

Softmax, bu fikri çok sınıflı bir dünyaya taşıyor. Yani Softmax, çok sınıflı bir problemde her sınıfa ondalık olasılıklar atar. Bu ondalık olasılıklar 1.0'a eşit olmalıdır. Bu ek sınırlama, eğitimin diğer konularda olduğundan daha hızlı ilerlemesine yardımcı olur.

Örneğin, Şekil 1'de gördüğümüz resim analizine dönersek, Softmax bir resmin belirli bir sınıfa ait olma olasılığını aşağıdaki şekilde karşılayabilir:

Sınıf Probability
apple 0,001
ayı 0,04
şeker 0,008
köpek 0,95
Egg 0,001

Softmax, çıkış katmanından hemen önce bir nöral ağ katmanı üzerinden uygulanır. Softmax katmanı, çıkış katmanıyla aynı sayıda düğüme sahip olmalıdır.

Giriş katmanı, açıklayıcı olmayan iki gizli katman, bir Softmax katmanı ve son olarak Softmax katmanıyla aynı sayıda düğüme sahip bir çıkış katmanı içeren bir derin sinir ağı.

Şekil 2. Bir nöral ağda Softmax katmanı.

Softmax Seçenekleri

Softmax'ın aşağıdaki varyantlarını göz önünde bulundurun:

  • Tam Softmax, tartıştığımız Softmax değeridir. Yani Softmax, olası her sınıf için bir olasılık hesaplar.

  • Aday örnekleme, Softmax'ın tüm pozitif etiketler için bir olasılık hesapladığı, ancak yalnızca negatif etiketlerin rastgele bir örneğinde kullandığı anlamına gelir. Örneğin, bir giriş resminin tazı mı yoksa tazı mı olduğunu belirlemek istersek köpek olmayan her örnek için olasılık sağlamamız gerekmez.

Tam Softmax, sınıf sayısı az olduğunda oldukça hesaplıdır, ancak ders sayısı yükseldikçe oldukça pahalı olacaktır. Aday örnekleme, çok sayıda sınıfa sahip sorunların verimliliğini artırabilir.

Tek Etiket ile Çok Etiketli

Softmax, her örneğin tam olarak bir sınıfın üyesi olduğunu varsayar. Ancak bazı örnekler aynı anda birden çok sınıfın üyesi olabilir. Bu tür örnekler için:

  • Softmax'ı kullanamazsınız.
  • Birden çok lojistik regresyona güvenmeniz gerekir.

Örneğin, örneklerinizin tam olarak bir öğe (bir meyve parçası) içeren resimler olduğunu varsayalım. Softmax, bir öğenin armut, turuncu, elma vb. olması ihtimalini belirleyebilir. Örneğin; her türlü yemeğin bulunduğu farklı resim türleri bulunan resimler tercih ediyorsanız bunun yerine birden fazla lojistik regresyon kullanmanız gerekir.