Jaringan Neural Multikelas: Softmax

Ingat bahwa regresi logistik memberikan hasil desimal yang memiliki nilai di antara 0 dan 1,0. Misalnya, keluaran regresi logistik 0,8 dari pengklasifikasi email menunjukkan 80% kemungkinan bahwa email tersebut merupakan spam dan 20% kemungkinan bahwa email tersebut bukan spam. Jelas, jumlah dari kemungkinan bahwa email merupakan spam atau bukan spam adalah 1,0.

Softmax memperluas ide ini ke dunia kelas jamak. Dengan demikian, Softmax memberikan kemungkinan desimal ke setiap kelas dalam masalah kelas jamak. Total probabilitas desimal tersebut harus berjumlah 1,0. Batasan tambahan ini membantu agar pelatihan dikonvergensi dengan lebih cepat dari yang seharusnya.

Misalnya, kembali ke analisis gambar pada Gambar 1, Softmax dapat menghasilkan kemungkinan sebuah gambar tergolong dalam kelas tertentu berikut:

Kelas Peluang
apel 0,001
beruang 0,04
permen 0,008
anjing 0,95
telur 0,001

Softmax diimplementasikan melalui lapisan jaringan neural tepat sebelum lapisan keluaran. Lapisan Softmax harus memiliki jumlah simpul yang sama dengan lapisan keluaran.

Jaringan neural dalam dengan lapisan masukan, dua lapisan tersembunyi yang tidak memiliki karakteristik khusus, lalu lapisan Softmax, dan terakhir lapisan keluaran dengan jumlah simpul yang sama dengan lapisan Softmax.

Gambar 2. Lapisan Softmax dalam jaringan neural.

Opsi Softmax

Berikut adalah beberapa varian dari Softmax:

  • Full Softmax adalah Softmax yang sedang didiskusikan; yaitu, Softmax yang menghitung kemungkinan dari setiap kelas yang mungkin.

  • Sampling kandidat berarti bahwa Softmax menghitung kemungkinan untuk semua label positif, namun hanya menghitung sampel label negatif acak. Misalnya, jika kita tertarik untuk menentukan apakah gambar masukan adalah jenis anjing beagle atau anjing pelacak, kita tidak harus memberikan kemungkinan untuk setiap contoh yang bukan anjing.

Full Softmax cukup murah ketika jumlah kelasnya kecil, namun akan menjadi sangat mahal saat himpunan kemungkinan kelasnya membesar. Sampling kandidat dapat meningkatkan efisiensi pada masalah yang memiliki kelas dalam jumlah besar.

Satu label Vs. Banyak Label

Softmax menanggap bahwa setiap sampel merupakan bagian dari satu kelas saja. Namun, beberapa contoh dapat menjadi bagian dari beberapa kelas secara bersamaan. Untuk contoh seperti itu:

  • Anda tidak dapat menggunakan Softmax.
  • Anda harus mengandalkan lebih dari satu regresi logistik.

Misalnya, anggap saja contoh Anda adalah gambar sebuah benda—misalnya sepotong buah. Softmax dapat menentukan kemungkinan bahwa benda tersebut adalah buah pir, jeruk, apel, atau benda lainnya. Jika contoh Anda adalah gambar yang berisi banyak benda—misalnya mangkuk yang diisi dengan berbagai jenis buah—maka Anda harus menggunakan lebih dari satu regresi logistik.