תוכלו לעיין באפשרויות שמפורטות בהמשך.
נבחן מודל סיווג שמפריד את האימיילים לשתי קטגוריות:
'ספאם' או 'לא ספאם'. אם מעלים את סף הסיווג,
מה קורה לדיוק?
בהחלט, הגדלתי.
העלאת סף הסיווג בדרך כלל מגבירה את הדיוק;
עם זאת, הדיוק לא מובטח שעלייה מונוטונית
כשמעלים את הסף.
כנראה עלייה.
באופן כללי, העלאת סף הסיווג מפחיתה את הערך False
חיובי, וכך עולה הדיוק.
כנראה ירידה.
באופן כללי, העלאת סף הסיווג מפחיתה את הערך False
חיובי, וכך עולה הדיוק.
בהחלט, יש ירידה חדה.
באופן כללי, העלאת סף הסיווג מפחיתה את הערך False
חיובי, וכך עולה הדיוק.
תוכלו לעיין באפשרויות שמפורטות בהמשך.
נבחן מודל סיווג שמפריד את האימיילים לשתי קטגוריות:
'ספאם' או 'לא ספאם'. אם מעלים את סף הסיווג,
נזכיר לכם במקרה?
להגדיל תמיד.
העלאת סף הסיווג יכולה לגרום ל:
- מספר התוצאות החיוביות האמיתיות יקטן או להישאר ללא שינוי.
- מספר התוצאות השליליות השגויות יגדל או להישאר ללא שינוי.
צריך להקטין או להישאר ללא שינוי.
הגדלת סף הסיווג שלנו תגרום למספר
על הערך החיובי האמיתי לירידה או להישאר ללא שינוי,
מספר של נקודות שליליות מוטעות שצריך להגדיל או להישאר ללא שינוי. כך,
הריקול יישאר קבוע או יקטן.
הקפידו לשמור על עקביות.
הגדלת סף הסיווג שלנו תגרום למספר
על הערך החיובי האמיתי לירידה או להישאר ללא שינוי,
מספר של נקודות שליליות מוטעות שצריך להגדיל או להישאר ללא שינוי. כך,
הריקול יישאר קבוע או יקטן.
תוכלו לעיין באפשרויות שמפורטות בהמשך.
נבחן שני מודלים – א' וב' – שכל אחד מהם מבצע הערכה של אותו מערך נתונים.
איזה מההצהרות הבאות נכון?
אם הדיוק של מודל א' טוב יותר מזה של מודל ב,
עדיף להשתמש במודל א'.
דיוק טוב יותר הוא טוב, אבל הוא עשוי לפצות על הרכישה
להפחתה משמעותית בריקול. באופן כללי, אנחנו צריכים לבדוק
גם דיוק וגם זיכרון יחד, או מדדי סיכום כמו AUC
שעליהם נדבר בהמשך.
אם זיכרון א' טוב יותר ממודל ב', אז מודל א'
טוב יותר.
אומנם זכירת טובה יותר היא טובה, אבל יכול להיות שהיא מתרחשת
העלות של הפחתה משמעותית ברמת הדיוק. באופן כללי, אנחנו צריכים
לבחון גם את הדיוק וגם את הזכירות יחד, או מדדי סיכום.
כמו AUC, שעליו נדבר בהמשך.
אם למודל א' יש דיוק וזכירת טוב יותר מאשר מודל ב,
אז מודל א' הוא כנראה טוב יותר.
באופן כללי, מודל שהביצועים שלו טובים יותר מאלה של מודל אחר
דיוק וזכירת סביר הוא המודל הטוב יותר. מן הסתם
צריך לוודא שההשוואה מתבצעת
דיוק / נקודת זיכרון שיועילו בפועל לשם כך
להיות בעל משמעות. לדוגמה, נניח שמודל זיהוי הספאם שלנו
נדרש דיוק של 90% לפחות כדי להיות שימושי ולהימנע
התראות שווא מיותרות. במקרה הזה, השוואת
מודל אחד ברמת דיוק של {20% דיוק, 99% זיכרון} למודל אחר ב-
{15% precision, 98% זיכרון} לא מספק תובנות מיוחדות,
אף אחד מהמודלים לא עומד בדרישה לגבי רמת דיוק של 90%. אבל עם האזהרה הזאת,
זו דרך טובה להשוות בין מודלים בזמן שמשתמשים
דיוק וזכירת נתונים.