רגרסיה לינארית: תרגיל בנושא ירידה בגרדינט

בתרגיל הזה נחזור לגרף של נתוני יעילות הדלק מתרגיל הפרמטרים. אבל הפעם, תשתמשו בשיטת גרדיאנט יורד כדי ללמוד מהם ערכי המשקל וההטיה האופטימליים למודל ליניארי שממזער את אובדן המידע.

משלימים את שלוש המשימות שמתחת לתרשים.

הדמיה אינטראקטיבית כזו יכולה ליצור תמונות מהבהבות אם היא מוגדרת לשיעור למידה גבוה, מה שעלול להשפיע על אנשים שרגישים לאור.

משימה 1: משנים את המיקום של פס ההזזה Learning Rate שמתחת לגרף כדי להגדיר שיעור למידה של 0.03. לוחצים על הלחצן התחלה כדי להפעיל את שיטת גרדיאנט הירידה.

כמה זמן לוקח לאימון המודל להגיע למצב של התכנסות (להגיע לערך הפסד יציב מינימלי)? מהו ערך ה-MSE בנקודת ההתכנסות של המודל? אילו ערכים של משקל והטיה יוצרים את הערך הזה?

לוחצים על סמל הפלוס כדי לראות את הפתרון שלנו

כשמגדירים את קצב הלמידה ל-0.03, המודל מתכנס תוך כ-30 שניות, ומשיג MSE של 2.67 עם ערכי משקל והטיה של ‎–1.14 ו-20.389, בהתאמה. המשמעות היא שבחרנו ערך טוב של קצב הלמידה.

משימה 2: לוחצים על הלחצן איפוס שמתחת לתרשים כדי לאפס את ערכי המשקל וההטיה בתרשים. מעבירים את פס ההזזה Learning Rate (קצב הלמידה) לערך בסביבות 1.10e^–5. לוחצים על הלחצן התחלה כדי להפעיל את שיטת גרדיאנט הירידה.

מה אפשר לראות לגבי הזמן שנדרש לאימון המודל כדי להגיע למצב של התכנסות הפעם?

לוחצים על סמל הפלוס כדי לראות את הפתרון.

אחרי כמה דקות, אימון המודל עדיין לא התכנס. עדכונים קטנים של ערכי המשקל וההטיה ממשיכים להניב ערכי הפסד נמוכים יותר. המשמעות היא שאם נבחר שיעור למידה גבוה יותר, שיטת ירידת הגרדיאנט תוכל למצוא את ערכי המשקל וההטיה האופטימליים מהר יותר.

משימה 3: לוחצים על הלחצן איפוס שמתחת לתרשים כדי לאפס את ערכי המשקל וההטיה בתרשים. מזיזים את פס ההזזה Learning Rate (קצב הלמידה) עד 1. לוחצים על הלחצן התחלה כדי להפעיל את שיטת גרדיאנט הירידה.

מה קורה לערכי ההפסד במהלך הפעלת ירידת הגרדיאנט? כמה זמן ייקח לאימון המודל להגיע למצב של התכנסות הפעם?

לוחצים על סמל הפלוס כדי לראות את הפתרון.

ערכי האובדן משתנים באופן קיצוני בערכים גבוהים (MSE מעל 300). המשמעות היא שקצב הלמידה גבוה מדי, והאימון של המודל לא יגיע לעולם להתכנסות.