הכללה מתייחסת ליכולת של המודל להתאים את עצמו כראוי לנתונים חדשים, שלא נצפו קודם לכן, המבוססים על אותה הפצה ששימשה ליצירת המודל.
הכללה
התמונה הגדולה
- יעד: יצירת חיזוי טוב על נתונים חדשים שנלקחו מהפצה אמיתית (מוסתרת).
- בעיה: אנחנו לא רואים את האמת.
- אנחנו מקבלים רק דגימה ממנו.
התמונה הגדולה
- יעד: יצירת חיזוי טוב על נתונים חדשים שנלקחו מהפצה אמיתית (מוסתרת).
- בעיה: אנחנו לא רואים את האמת.
- אנחנו מקבלים רק דגימה ממנו.
- אם מודל h מתאים לדגימה הנוכחית שלנו, איך אנחנו יכולים לסמוך עליה כדי לחזות טוב יותר דוגמאות אחרות?
איך אנחנו יודעים אם המודל שלנו טוב?
- מבחינה תיאורטית:
- שדה מעניין: תורת ההכללה
- מבוסס על רעיונות למדידת פשטות מורכבות או סיבוכיות של מודל
- אינטואיציה: רשמיות של עקרון תספורת של אוקהאם
- ככל שהמודל מורכב יותר, כך עולה הסבירות שתוצאה אמפירית טובה לא נובעת רק מפרטיות הדגימה שלנו
איך אנחנו יודעים אם המודל שלנו טוב?
- באופן אמפירי:
- שואלים: האם המודל שלנו ייתן ביצועים טובים עם דגימה חדשה של נתונים?
- הערכה: קבלת דגימה חדשה של נתוני קריאה לקבוצת הבדיקה
- ביצועים טובים בקבוצת הבדיקה הם אינדיקציה שימושית לביצועים טובים בנתונים החדשים באופן כללי:
- אם קבוצת הבדיקה גדולה מספיק
- אם אנחנו לא לרמות לרמות באמצעות סט הבדיקות שוב ושוב
האותיות הקטנות של ה-ML
שלוש הנחות בסיסיות בכל האמור למעלה:
- אנחנו משרטטים דוגמאות בנפרד וזהה (כלומר) באופן אקראי מההפצה
- ההתפלגות נישאת: אינה משתנה לאורך הזמן
- אנחנו תמיד שולפים מאותה הפצה: כולל הכשרה, אימות וקבוצות בדיקה