רגרסיה לוגיסטית: אובדן והסדרה

משך זמן משוער: 6 דקות

פונקציית אובדן רגרסיה לוגיסטית

פונקציית הרגרסיה הלינארית היא אובדן ריבועי. פונקציית האבדן ברגרסיה לוגיסטית היא הפסד יומן, שמוגדר כך:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

כאשר:

• \((x,y)\in D\) קבוצת הנתונים מכילה דוגמאות רבות עם תוויות, שהן \((x,y)\) זוגות.
• \(y\) היא התווית בדוגמה מתויגת. בגלל שרגרסיה לוגיסטית, כל הערך של \(y\) חייב להיות 0 או 1.
• \(y'\) הוא הערך החזוי (בטווח שבין 0 ל-1), בהתאם לקבוצת התכונות ב- \(x\).

סידור רגרסיה לוגיסטית

הסדרה חשוב מאוד במודלים של רגרסיה לוגיסטית. ללא סידור, האופי האסתפטומי של רגרסיה לוגיסטית ימשיך להוביל לירידה של 0 בממדים גבוהים. כתוצאה מכך, רוב המודלים הרגרסיים הלוגיסטיים משתמשים באחת משתי השיטות הבאות כדי להפחית את המורכבות של המודלים:

• ת₂.
• הפסקה מוקדמת, כלומר, הגבלת מספר שלבי האימון או קצב הלמידה.

(אנחנו נדון בשיטה שלישית - _L1, במודול מאוחר יותר.)

נניח שאתם משייכים מזהה ייחודי לכל דוגמה, וממופים כל מזהה למאפיין נפרד. אם לא תציינו פונקציית סידור, המודל יהיה גדול מדי. הסיבה לכך היא שהמודל ינסה לעודד אפס לאפס בכל הדוגמאות ולעולם לא יגיע לשם, ובעקבות זאת כל המשקל של כל מחוון יהיה + אינסוף או אינסוף. זה יכול לקרות בנתונים על מימדי גבוה עם צלבים של תכונות, כאשר יש מיסות גדולות של צלבים נדירים שמתרחשים רק בדוגמה אחת.

למזלנו, שימוש ב-L₂ או בעצירה מוקדמת כדי למנוע את הבעיה הזו.

סיכום

• מודלים של רגרסיה לוגיסטיים יוצרים ההסתברות.
• Logs Loss הוא פונקציית אובדן רגרסיה לוגיסטית.
• רגרסיה לוגיסטית נפוצה בקרב אנשי מקצוע רבים.

 

תנאים עיקריים

עצירה מוקדמת	הפסד ביומן
L1 רגולציה	L2 יישור

מרכז העזרה