الشبكات العصبية المتعددة الطبقات: Softmax

تذكّر أنّ الانحدار اللوجستي يؤدي إلى قيمة عشرية بين 0 و1.0. على سبيل المثال، تقترح نتيجة تراجع لوجستي 0.8 من أداة تصنيف بريد إلكتروني احتمال 80% أن تكون الرسالة الإلكترونية غير مرغوب فيها و20% احتمال أن تكون غير مرغوب فيها. من الواضح أنّ مجموع احتمالية أن تكون الرسالة الإلكترونية غير مرغوب فيها أو ليست رسائل غير مرغوب فيها هي 1.0.

تعمل Softmax على توسيع نطاق هذه الفكرة إلى عالم متعدد الطبقات. وهذا يعني أنّ Softmax تضبط الاحتمالات العشرية لكل صف في مشكلة متعدّدة الفئات. ويجب أن تتجاوز الاحتمالات العشرية هذه ما يصل إلى 1.0. ويساعد هذا القيد الإضافي في التلاقي مع التدريب بسرعة أكبر من غيره.

على سبيل المثال، بالرجوع إلى تحليل الصورة الذي رأيناه في الشكل 1، قد ينتج عن Softmax الاحتمالات التالية لصورة تنتمي إلى فئة معيّنة:

دورات تدريبية الاحتمالية
تفاحة 0.001
دُب 0.04
حلوى 0.008
كلب 0.95
egg 0.001

يتم تنفيذ Softmax من خلال طبقة شبكة عصبونية قبل طبقة الناتج مباشرةً. يجب أن تحتوي طبقة Softmax على عدد العُقد نفسه الذي تستخدمه طبقة الإخراج.

شبكة عصبية عميقة تتضمّن طبقة إدخال، وطبقتَين مخفيتَين غير وصفيَين، ثم طبقة Softmax، وأخيرًا طبقة مخرج لها العدد نفسه من العُقد التي تحتوي عليها طبقة Softmax.

الشكل 2. طبقة Softmax في شبكة عصبونية

خيارات Softmax

يمكنك تجربة خيارات Softmax التالية:

  • Softmax الكاملة هي Softmax التي ناقشناها، أي أنّ Softmax تحسب الاحتمالية في كل صف محتمل.

  • العينات المرشحة تعني أنّ Softmax تحسب احتمالية لكل التصنيفات الإيجابية ولكن فقط لعينة عشوائية من التصنيفات السلبية. على سبيل المثال، إذا كنا مهتمين بتحديد ما إذا كانت الصورة التي يتم إدخالها هي ثعبان أو كلب للكلاب، علينا ألّا نفرض احتمالات لكل مثال غير كلاب.

تكون تكلفة Softmax الكاملة رخيصة إلى حد ما عندما يكون عدد الصفوف صغيرًا ولكنه يصبح باهظًا عند زيادة عدد الصفوف. يمكن أن يؤدي أخذ العينات المرشحة إلى تحسين الكفاءة في حل مشاكل عدد كبير من الصفوف.

تصنيف واحد مقابل العديد من التصنيفات

يفترض Softmax أن كل مثال عضو في صف واحد بالضبط. ومع ذلك، يمكن أن تكون بعض الأمثلة عضوًا في صفوف متعددة في الوقت نفسه. على سبيل المثال:

  • لا يجوز لك استخدام Softmax.
  • عليك الاعتماد على انحدار لوجستي متعدد.

على سبيل المثال، لنفترض أن الأمثلة هي صور تحتوي على عنصر واحد بالضبط، قطعة من الفاكهة. يمكن أن تحدّد شركة Softmax مدى احتمال خضوع هذه السلعة لكمثرى أو برتقالي أو تفاح وما إلى ذلك. إذا كانت الأمثلة هي الصور التي تحتوي على جميع أنواع العناصر - مثل أصناف مختلفة من الفواكه، ستحتاج عندئذٍ إلى استخدام تراجعين لوجستيين متعددين بدلاً من ذلك.