חשוב לזכור שרגרסיה לוגיסטית יוצרת מספר עשרוני בין 0 ל-1.0. לדוגמה, אם הפלט של רגרסיה לוגיסטית הוא 0.8 מסיווג אימייל, יש סיכוי של 80% שהודעת אימייל תהיה ספאם ו-20% שהיא לא ספאם. בבירור, סך כל ההסתברות שהודעת אימייל היא ספאם או 1.0.
Softmax מרחיב את הרעיון הזה לעולם של כיתות מרובות. כלומר, הפיצ'ר 'Maxmax' מקצה את ההסתברות העשרונית לכל כיתה בבעיה שיש לה כמה כיתות. ההסתברות העשרונית חייבת להיות קטנה מ-1.0. האילוץ הנוסף הזה עוזר לאימון להתפתח מהר יותר ממה שהוא היה קורה בדרך אחרת.
לדוגמה, בחזרה לניתוח הנתונים שראינו באיור 1, Softmax עשוי לייצר את הסבירות הבאה לתמונה השייכת לכיתה מסוימת:
| מחלקה | Probability |
|---|---|
| apple, אפל | 0.001 |
| דוב | 0.04 |
| ממתק | 0.008 |
| כלב | 0.95 |
| Egg | 0.001 |
Softmax מיושם באמצעות שכבת רשת נוירונים לפני שכבת הפלט. מספר הצמתים צריך להיות זהה למספר הצמתים בשכבת הפלט.
איור 2. שכבת Softmax בתוך רשת נוירונים.
אפשרויות ל-Softmax
כדאי לשקול את הווריאציות הבאות של Softmax:
Softmax מלא הוא ה-Softmax שדיברנו עליו. כלומר, פונקציית ה-Softmax מחשבת את ההסתברות לכל כיתה אפשרית.
דגימת מועמדים פירושה ש-Softmax מחשב את ההסתברות לכל התוויות החיוביות, אך רק עבור דגימה אקראית של תוויות שליליות. לדוגמה, אם אנחנו רוצים לקבוע אם תמונת קלט היא 'Beagle' או 'כלב ים', אנחנו לא חייבים לספק הסתברות לכל דוגמה שאינה דוגית.
המחיר המלא של Softmax הוא זול במיוחד כשמספר הכיתות קטן, אבל מספר הכיתות יקר מדי. דגימת מועמדים יכולה לשפר את היעילות בבעיות שקשורות למספר גדול של כיתות.
תווית אחת לעומת תוויות רבות
Softmax יוצא מנקודת הנחה שכל דוגמה היא חברים בכיתה אחת בדיוק. עם זאת, דוגמאות מסוימות יכולות להיות בו-זמנית במספר כיתות. לדוגמה:
- אין להשתמש ב-Softmax.
- עליך להסתמך על רגרסיות לוגיסטיות מרובות.
לדוגמה, נניח שהדוגמאות הן תמונות שמכילות פריט אחד בלבד – פרוסת פירות. Softmax יכול לקבוע מהי הסבירות שפריט אחד יהיה אגס, כתום, תפוח וכו'. אם הדוגמאות שלכם הן תמונות שמכילות כל מיני סוגים, של קערות פירות מסוגים שונים, אתם צריכים להשתמש במספר רגרסיות לוגיסטיות.