עקומת ROC
עקומה של ROC (עקומה תפעולית של נמען) היא תרשים שמציג את הביצועים של מודל סיווג בכל סף סיווג. העקומה הזו מציגה שני פרמטרים:
- שיעור חיובי חיובי
- שיעור חיובי חיובי
שיעור חיובי חיובי (PRIP) הוא מילה נרדפת לזכירה, ולכן הוא מוגדר כך:
שיעור חיובי חיובי (FPR) מוגדר כך:
עקומה של ROC מחלקת את TPR לעומת FPR בערכי סף שונים. הקטנת סף הסיווג מסווגת יותר פריטים כחיוביים, מה שמגביר את החיוב החיובי ואת האזהרות True באיור הבא מוצגת עקומת ROC טיפוסית.
איור 4. שיעור ה-TP לעומת FP בערכי סף שונים של סיווג.
כדי לחשב את הנקודות בעקומה של ROC, נוכל להעריך מודל רגרסיה לוגיסטית פעמים רבות עם ערכי סיווג שונים, אבל האפקטיביות הזו לא תהיה יעילה. למזלנו, יש אלגוריתם מבוסס-מיון יעיל שיכול לספק לנו את המידע הזה, בשם AUC.
AUC: אזור מתחת לעקומה של ROC
AUC הוא המונח "אזור שמתחת ל-ROC Curve." כלומר, AUC מודד את האזור הדו-ממדי כולו מתחת לעקומה של ROC שלם (חושב אינטגרלי) מ-(0,0) עד (1,1).
איור 5. AUC (שטח מתחת לעקומה של ROC).
AUC מספקת מדד ביצועים מצטבר בכל ערכי הסף האפשריים לסיווג. אחת הדרכים לפרש את AUC היא ההסתברות שהמודל מדרג דירוג חיובי אקראי גבוה יותר מדוגמה שלילית אקראית. למשל, בהיבט של הדוגמאות הבאות, כשהן מסודרות משמאל לימין בסדר עולה של חיזוי רגרסיה לוגיסטית:
איור 6. החיזויים מדורגים בסדר עולה של ציון רגרסיה לוגיסטית.
תכונת ה-AUC מייצגת את ההסתברות שדוגמה חיובית אקראית (ירוק) ממוקמת משמאל לדוגמה שלילית אקראית (אדום).
הטווחים של AUC נעים בין 0 ל-1. במקרה של חיזוי שנכון ל-100%, ה-AUC הוא 0.0, ובמודל שבו החיזויים נכונים ב-100% יש AUC של 1.0.
רצוי להשתמש ב-AUC משתי הסיבות האלה:
- AUC היא וריאציה משתנה. הוא מודד את הדירוג של החיזויים, במקום את הערכים המוחלטים שלהם.
- AUC הוא class-threshold-invariant. היא מודדת את איכות החיזויים של המודל ללא קשר לסף הסיווג.
עם זאת, שתי הסיבות האלה כוללות אזהרות, שעלולות להגביל את התועלת של AUC במקרים מסוימים:
לא תמיד רצוי לפתור שינויים בקנה מידה רחב. לדוגמה, לפעמים אנחנו באמת צריכים פלט של הסתברות מכויל היטב, ו-AUC לא מספרת לנו על כך.
לא תמיד רצוי לכלול את סף הסיווג. במקרים שבהם יש הבדלים רחבים בעלות של מילת מפתח שלילית עם ערך שלילי לעומת תוצאה חיובית כוזבת, ייתכן שיהיה קריטי למזער את הסוג של שגיאת סיווג. לדוגמה, כשאתם מזהים ספאם כספאם, סביר להניח שתרצו לתת עדיפות לצמצום חיובי חיובי (גם אם התוצאה תהיה עלייה משמעותית במילות מפתח שליליות שגויות). AUC הוא לא מדד שימושי לסוג האופטימיזציה הזה.