בודקים את ההבנה: ניפוי באגים במודל

לשאלות הבאות, לוחצים על האפשרות הרצויה כדי להרחיב ולבדוק את התשובה.

גישה למודלים

אתה והחבר שלך מל (כמו קרן חד קרן) למעשה, אתם כל כך אוהבים את חד-קרן, אז אתם מחליטים לחזות תחזיות של חד-קרן באמצעות ... למידה חישובית. יש לכם מערך נתונים של 10,000 מופעים של חד-קרן. עבור כל מראה, מערך הנתונים כולל את המיקום, השעה ביום, הגובה, הטמפרטורה, הלחות, צפיפות האוכלוסייה, כיסוי העצים, נוכחות של קשת בענן ועוד תכונות רבות.

אתם רוצים להתחיל לפתח את מודל ה-ML. איזו מהגישות הבאות היא דרך טובה לפיתוח?
חד-קרן מופיע לעיתים קרובות בזריחה ובשקיעה. לכן, אפשר להשתמש בתכונה "שעה ביום" כדי ליצור מודל לינארי.
נכון. מודל לינארי שמשתמש בתכונה אחת או שתיים של חיזוי גבוה הוא דרך יעילה להתחיל.
חיזוי הופעות חד-קרן הוא בעיה קשה מאוד. לכן, יש להשתמש ברשת נוירונים עמוקה עם כל התכונות הזמינות.
תשובה לא נכונה. התחלה עם מודל מורכב מקשה על ניפוי באגים.
מומלץ להתחיל עם מודל לינארי פשוט אבל להשתמש בכל התכונות כדי לוודא שלמודל הפשוט יש עוצמה חזויה.
תשובה לא נכונה. אם משתמשים בהרבה מהתכונות, גם אם המודל הוא לינארי, המודל שנוצר הוא מורכב וניפוי באגים.

קווי בסיס

באמצעות רגרסיה של אובדן ריבוע ממוצע (MSE), אפשר לחזות את עלות הנסיעה במונית על סמך משך הנסיעה, מרחק הנסיעה, נקודת הסיום והסיום. למשל:

  • עלות הנסיעה הממוצעת היא 60 ש"ח.
  • עלות הנסיעה עולה בסכום קבוע לקילומטר.
  • נסיעות באזור הדאונטאון מחויבות בתשלום נוסף.
  • נסיעות מתחילות במחיר מינימלי של 12 ש"ח.

בודקים אם עקרונות הבסיס הבאים שימושיים.

זהו קו בסיס שימושי: כל נסיעה עולה 60 ש"ח.
כן
נכון. העלות הממוצעת היא קו בסיס שימושי.
לא
תשובה לא נכונה. יש לחזות את הממוצע הממוצע ב-MSE נמוך יותר מאשר תמיד לחזות את הערך האחר. לכן, בדיקה של מודל בהשוואה לבסיס הזה מספקת השוואה משמעותית.
משך הזמן תלוי בסטיית התקן של עלות הנסיעה.
תשובה לא נכונה. בלי קשר לסטיית התקן, העלות הממוצעת של הנסיעה היא נקודת בסיס שימושית מפני שתמיד יש לחזות את התוצאה הממוצעת ב-MSE נמוך יותר בהשוואה לחיזוי של כל ערך אחר.
זהו קו בסיס מועיל: מודל מאומן שמתבסס על משך הסשן והמקור שלו בלבד כתכונות.
כן
תשובה לא נכונה. צריך להשתמש במודל שעבר הדרכה רק כבסיס, אחרי אימות מלא של המודל בסביבת הייצור. בנוסף, תהליך האימות של המודל הנלמד צריך להיות פשוט לעומת הבסיס הבסיסי.
לא
נכון. צריך להשתמש במודל שעבר הדרכה רק כבסיס, אחרי אימות מלא של המודל בסביבת הייצור.
זהו קו בסיס שימושי: עלות הנסיעה היא מרחק הנסיעה (בקילומטרים) כפול המחיר לקילומטר.
כן
נכון. המרחק הוא הגורם החשוב ביותר לקביעת עלות הנסיעה. לכן, כדאי להשתמש בבסיס שמבוסס על מרחק.
לא
תשובה לא נכונה. המרחק הוא הגורם החשוב ביותר לקביעת עלות הנסיעה. לכן, כדאי להשתמש בבסיס שמבוסס על מרחק.
זהו קו בסיס שימושי: כל נסיעה עולה 4 ש"ח. כי המודל חייב תמיד לעבור את ערך הבסיס הזה. אם המודל לא עבר את הבסיס הזה, נוכל להיות בטוחים שבמודל יש באג.
כן
תשובה לא נכונה. קו הבסיס הזה לא שימושי מפני שהוא תמיד שגוי. השוואה בין מודל לבסיס שגוי תמיד אינה חשובה.
לא
נכון. קו הבסיס הזה הוא לא בדיקה שימושית של המודל.

היפר-פרמטרים

השאלות הבאות מתארות בעיות באימון בודק. בוחרים פעולות שעשויות לפתור את הבעיה המתוארת.

אובדן האימון הוא 0.24 ואובדן האימות הוא 0.36. אילו משתי הפעולות הבאות עשויות לצמצם את ההבדל בין אימון לבין אובדן אימות?
צריך לוודא שקבוצות הנתונים של האימון והאימות הן זהות מבחינה סטטיסטית.
נכון. אם לקבוצות האימון והאימות יש מאפיינים סטטיסטיים שונים, נתוני האימון לא יעזרו לחזות את נתוני האימות.
יש להשתמש בניהול קבוע כדי למנוע התאמה יתר.
נכון. אם אובדן האימון קטן יותר מאובדן האימות, סביר להניח שהמודל שלך חורג מנתוני האימון. השגרה מונעת חוסר יתר.
הגדלת מספר תקופות האימון.
תשובה לא נכונה. אם אובדן האימון קטן יותר מאובדן האימות, המודל שלך גדול בדרך כלל לנתוני האימון. הגדלת התקופות של האימון תגדיל רק את העומס יתר.
האט את קצב הלמידה.
תשובה לא נכונה. לרוב, אובדן ההפסד גדול מהרגיל. שינוי קצב הלמידה לא מפחית יתר של יתרות.
ביצעת את הפעולות הנכונות שתוארו בשאלה הקודמת, ועכשיו מספר ההפסדים באימון ובאימות נע בין 1.0 ל-0.24 אחרי תקופות ניסיון רבות. איזו מהפעולות הבאות יכולה לצמצם את אובדן האימון שלך?
הגדלת העומק והרוחב של רשת הנוירונים.
נכון. אם האימון שלך ייפסק ב-0.24 נקודות אחרי תקופות ניסיון רבות, יכול להיות שהמודל לא יכלול את יכולת החיזוי. הגדלת העומק והרוחב של המודל עשויה לאפשר למודל יכולת חיזוי נוספת הנדרשת כדי להפחית עוד יותר את האימון.
הגדלת מספר תקופות האימון.
תשובה לא נכונה. אם האימון שלך נותר 0.24 אחרי אימון למשך תקופות רבות, המשך אימון המודל כנראה לא יגרום לאובדן האימון באופן משמעותי.
העלאת שיעור הלמידה.
תשובה לא נכונה. בנוסף, יכול להיות ששיעור ההכשרה לא יקטן בתקופות הכשרה רבות, לכן שיעור השיעורים האלה ככל הנראה לא יקטן. במקום זאת, הגדלת שיעור הלמידה עלולה לגרום לחוסר יציבות באימון ולמנוע מהמודל ללמוד את הנתונים.
תבוצע הפעולה הנכונה בשאלה הקודמת. אובדן האימון של המודל ירד ל-0.20. צריך להניח שכדי להפחית את אובדן האימון של המודל, צריך להמשיך עוד קצת. הוספת כמה תכונות שנראה שעוצמתן חזויה. עם זאת, אובדן האימונים ממשיך להשתנות בסביבות 0.20. איזו מהאפשרויות הבאות יכולה לצמצם את מספר האימונים שלך?
הגדלת העומק והרוחב של השכבות.
נכון. יכול להיות שהמודל לא יוכל ללמוד את האותות החזויים בתכונות החדשות.
מגדילים את תקופות האימון.
תשובה לא נכונה. אם אובדן האימון של המודל הוא בתנודתיות של 0.20 , סביר להניח שהגדלת מספר התקופות של האימון תגרום לאובדן ההכשרה של המודל, בסביבות 0.20.
התכונות לא כוללות מידע ביחס לתכונות קיימות. אפשר לנסות תכונה אחרת.
נכון. יכול להיות שהאותות החזויים שמקודדים על ידי התכונות כבר קיימים בתכונות שבהן את משתמשת.
האט את קצב הלמידה.
נכון. יכול להיות שהוספה של התכונות החדשות תהפוך את הבעיה למורכבת יותר. באופן ספציפי, תנודתיות בנטייה מעידה על כך ששיעור הלמידה גבוה מדי והמודל שלך קופץ למינימום. הקטנת שיעור הלמידה תאפשר למודל ללמוד את המינימום.