קצב למידה והתכנסות
זהו התרגיל הראשון מתוך מספר תרגילים ב-Playground. Playground היא תוכנית שפותחה במיוחד עבור הקורס הזה, במטרה ללמד עקרונות של למידת מכונה. כל תרגיל ב-Playground בקורס הזה כולל מופע מוטמע של מגרש משחקים עם הגדרות קבועות מראש.
כל תרגיל ב-Playground יוצר מערך נתונים. לתווית של מערך הנתונים הזה יש שני ערכים אפשריים. אפשר לחשוב על שני הערכים האפשריים האלה כספאם לעומת לא ספאם, או כעצים בריאים לעומת עצים חולים. המטרה ברוב התרגילים היא לשנות היפר-פרמטרים שונים כדי לבנות מודל שמסווג בהצלחה (מפריד או מבדיל) בין ערכי תווית שונים. חשוב לזכור שרוב קבוצות הנתונים מכילות כמות מסוימת של רעש, ולכן לא ניתן יהיה לסווג כל דוגמה בצורה תקינה.
לוחצים על סמל הפלוס כדי לקבל הסבר על התצוגה החזותית של המודל.
כל תרגיל Playground מציג המחשה חזותית של המצב הנוכחי של המודל. לדוגמה, כך נראית המחשה:
חשוב לשים לב לנקודות הבאות לגבי התצוגה החזותית של המודל:
- כל ציר מייצג תכונה ספציפית. במקרה של ספאם לעומת לא ספאם, הפיצ'רים יכולים להיות ספירת המילים ומספר הנמענים של האימייל.
- כל נקודה בתרשים מייצגת את ערכי התכונה של דוגמה אחת לנתונים, כמו אימייל.
- צבע הנקודה מייצג את המחלקה שאליה שייכת הדוגמה. לדוגמה, הנקודות הכחולות יכולות לייצג אימיילים שהם לא ספאם, והנקודות הכתומות יכולות לייצג אימיילים שהם ספאם.
- צבע הרקע מייצג את החיזוי של המודל שבו יוצגו דוגמאות לצבע הזה. רקע כחול מסביב לנקודה כחולה מציין שהמודל מנבא בצורה נכונה את הדוגמה הזו. לעומת זאת, רקע כתום מסביב לנקודה כחולה פירושו שהמודל חוזה את הדוגמה באופן שגוי.
- צבעי הרקע בלוז וכתום הם מדורגים. לדוגמה, צד ימין של התצוגה החזותית מופיע בצבע כחול מלא, אבל הופך בהדרגה ללבן במרכז התצוגה החזותית. המשמעות של חוזק הצבע היא שאפשר להתייחס למידת הביטחון של המודל מבחינת הניחוש שלו. המשמעות של כחול בהיר היא שהמודל בטוח מאוד לגבי הניחוש שלו, וצבע כחול בהיר פירושו שהמודל פחות בטוח. (ההמחשה החזותית של המודל המוצגת באיור נמוכה בחיזוי.)
השתמשו בהמחשה כדי להעריך את התקדמות המודל. ("מצוין — לרוב הנקודות הכחולות יש רקע כחול" או "אוי לא! לנקודות הכחולות יש רקע כתום.") מעבר לצבעים, Playground מציג גם את ההפסד הנוכחי של המודל באופן מספרי. ("אוי לא! האובדן עולה במקום למטה.")
בממשק לתרגיל זה יש שלושה לחצנים:
| סמל | שם | מה זה עושה |
|---|---|---|
|
איפוס | הפונקציה מאפסת את איטרציות ל-0. מאפס את כל המשקולות שהמודל כבר למד. |
|
שלב | התקדמות של איטרציה אחת. בכל איטרציה המודל משתנה – לפעמים באופן עדין ולפעמים באופן דרמטי. |
|
יצירה מחדש | יוצר מערך נתונים חדש. הפעולה הזו לא מאפסת חזרות. |
בתרגיל הראשון הזה בנושא Playground, תערכו שתי משימות כדי לנסות לשפר את קצב הלמידה.
משימה 1: שימו לב לתפריט קצב למידה בפינה השמאלית העליונה של Playground. קצב הלמידה הנתון - 3 - גבוה מאוד. בדקו איך קצב הלמידה הגבוה משפיע על המודל שלכם באמצעות לחיצה על הלחצן 'שלב' 10 או 20 פעמים. אחרי כל איטרציה מוקדמת, שימו לב איך התצוגה החזותית של המודל משתנה באופן דרמטי. יכול להיות אפילו שתבחינו בחוסר יציבות אחרי שנראה שהמודל נפגש. שימו לב גם לקווים שרצים מ-x1 ו-x2 בתצוגה החזותית של המודל. המשקולות של קווים אלה מציינים את המשקולות של התכונות האלה במודל. כלומר, קו עבה מציין משקל גבוה.
משימה 2: מבצעים את הפעולות הבאות:
- לוחצים על הלחצן איפוס.
- כדאי להנמיך את קצב הלמידה.
- לוחצים על הלחצן 'שלב' כמה פעמים.
איך שיעור הלמידה הנמוך יותר השפיע על שיעור ההתכנסות? יש לבחון גם את מספר השלבים שנדרשים כדי שהמודל יתכנס, וגם עד כמה בצורה חלקה ויציבה המודל מתכנס. כדאי לנסות ערכים נמוכים עוד יותר של קצב למידה. האם קצב הלמידה איטי מדי מכדי להיות שימושי? (בהמשך תרגיל כלשהו מופיע דיון).