דיוק
כדאי לעיין באפשרויות הבאות.
באילו מהתרחישים הבאים ערך דיוק גבוה יציע
שמודל ה-ML עושה עבודה טובה?
מצב רפואי קטלני אך ניתן לריפוי משפיע על 0.% מהאוכלוסייה. מודל למידת מכונה (ML) משתמש בתסמינים כתכונות וצופה
את מידת השיוך הזה ברמת דיוק של 99.99%.
מידת הדיוק היא מדד נמוך כאן. גם אם אפילו המודל '&ציטוט; ממוזער
, שתמיד מנבא &ציטוט; לא חולה &ציטוט, עדיין יהיה מדויק ב-99.99%.
חיזוי שגוי של &מירכאות כן; לא חולה&ציטוט; לגבי אדם חולה
יכול להיות קטלני.
עוף רובוטי יקר חוצה כביש עמוס מאוד
אלף פעמים ביום. מודל למידת מכונה (ML) מעריך דפוסי תנועה וחיזוי מתי תרנגולת זו יכולה לעבור בבטחה ברחוב, ברמת דיוק של 99.99%.
ערך דיוק של 99.99% בכביש מאוד עמוס מרמז מאוד על כך
שמודל ה-ML גבוה הרבה יותר מהסיכוי. עם זאת, בהגדרות מסוימות,
העלות של מספר טעויות קטן עדיין גבוהה מדי.
רמת הדיוק של 99.99% מציינת שיש להחליף את העוף היקר
בממוצע בכל 10 ימים. (עוף עלול לגרום לנזק נרחב לכלי הרכב).
במשחק רולטה, כדור
זז בגלגל מסתובב ובסופו של דבר נוחת באחד מ-38 המכונות. באמצעות תכונות חזותיות (הסיבוב של הכדור, מיקום הגלגל כאשר הכדור נפל, גובה הכדור
מעל הגלגל), מודל למידת מכונה יכול לחזות את המשבצת שבה הכדור נחתם
בדיוק של 4%.
מודל למידת המכונה הזה משפר את החיזויים באופן משמעותי. ניחוש
רנדומלי יהיה נכון מ-1/38 מהפעמים – כלומר דיוק של 2.6%.
למרות שהדיוק של המודל הוא "רק" 4%, יתרונות ההצלחה
מרוויחים הרבה יותר מיתרונות הכשל.
דיוק
כדאי לעיין באפשרויות הבאות.
כדאי לבחור במודל סיווג שמפריד בין כתובות האימייל לשתי קטגוריות:
"ספאם" או &"לא ספאם." אם תעלו את סף הסיווג, מה יקרה
לדיוק?
עלייה חדה.
הגדלת סף הסיווג בדרך כלל מגדילה את הדיוק.
עם זאת, רמת הדיוק לא מובטחת אם תגדיל את המספר באופן מונוטוני
ככל שאנחנו מגדילים את הסף.
כנראה יש עלייה.
באופן כללי, הגדלת סף הסיווג מפחיתה
תוצאות חיוביות שקריות ומגבירה את הדיוק.
כנראה יש ירידה.
באופן כללי, הגדלת סף הסיווג מפחיתה
תוצאות חיוביות שקריות ומגבירה את הדיוק.
במגמת ירידה.
באופן כללי, הגדלת סף הסיווג מפחיתה
תוצאות חיוביות שקריות ומגבירה את הדיוק.
החזרה
כדאי לעיין באפשרויות הבאות.
כדאי לבחור במודל סיווג שמפריד בין כתובות האימייל לשתי קטגוריות:
"ספאם" או &"לא ספאם." אם תגדילו את סף הסיווג, מה יקרה
לזכור?
להגדיל כל הזמן.
הגדלת סף הסיווג תגרום לכך:
- מספר התגובות החיוביות האמיתיות יקטן או יישאר ללא שינוי.
- מספר מילות המפתח השליליות הלא נכונות יגדל או יישאר ללא שינוי.
תמיד צריך להקטין או להישאר ללא שינוי.
הגדלת סף הסיווג שלנו תגרום
למספר התגובות החיוביות האמיתיות לרדת או להישאר ללא שינוי,
ולהגדיל את מספר מילות המפתח השליליות הלא נכונות ולהגדיל או לא להישאר זהות. לכן,
הריקול יישאר קבוע או יורד.
להיות קבוע כל הזמן.
הגדלת סף הסיווג שלנו תגרום
למספר התגובות החיוביות האמיתיות לרדת או להישאר ללא שינוי,
ולהגדיל את מספר מילות המפתח השליליות הלא נכונות ולהגדיל או לא להישאר זהות. לכן,
הריקול יישאר קבוע או יורד.
דיוק וזכירת המכשיר
כדאי לעיין באפשרויות הבאות.
כדאי לבחון שני מודלים – A ו-B – שכולם מעריכים את אותו מערך נתונים.
אילו מההצהרות הבאות נכונות?
אם מודל א' מדויק יותר ממודל ב', אז
מודל א' טוב יותר.
גם אם רמת הדיוק גבוהה יותר, היא עשויה לבוא על חשבון הוצאות נמוכות משמעותית. באופן כללי, עלינו לבחון גם
את הדיוק ואת זכירת המידע, או את מדדי הסיכום כמו ב-AUC
שנדבר עליהם בהמשך.
אם למודל א' יש זכירה טובה יותר ממודל ב', אז מודל א' טוב יותר.
אמנם זכירת הזיכרון טובה באופן כללי, צריך
לבחון את הדיוק והזכירה יחד, או את מדדי הסיכום
כמו ה-AUC, שלגביהם נדבר בהמשך.
אם למודל א' יש התאמה מדויקת יותר וזכירה טובה יותר ממודל ב',
סביר להניח שמודל א' טוב יותר.
באופן כללי, מודל שהביצועים שלו טובים יותר ממודל אחר גם
ברמת הדיוק וגם במדד זכירה, עשוי להיות מודל טוב יותר. כמובן,
צריך לוודא שההשוואה מתבצעת
בנקודת דיוק / זכירה שהיא שימושית בפועל. לדוגמה, נניח שמודל זיהוי הספאם
שלנו צריך להיות ברמת דיוק של 90% לפחות כדי להיות שימושי ולמנוע
התראות שווא. במקרה כזה, השוואה בין
דגם ב-{20% דיוק, 99% זכירה} למודל אחר
ב-{15% דיוק, 98% זכירה} לא מעידה על כוונה מיוחדת, כי
אף אחד מהמודלים לא עומד בדרישות הדיוק של 90%. אבל כדאי לשים לב לנקודת המבט הזו, זאת דרך טובה להשוות בין מודלים
כשמשתמשים במדד הדיוק והזכירה.