בדיקת תקינה ל₁

תרגיל זה כולל אימון קטן, מעט רועש, במערך נתונים. בסביבה כזו, ביגוד יתר הוא חשש אמיתי. שמירה על סדירה עשויה לעזור, אבל איזו סוג של התאמה סדירה?

התרגיל הזה כולל חמש משימות קשורות. כדי לפשט את ההשוואות לכל חמש המשימות, להריץ כל משימה בכרטיסייה נפרדת. שימו לב שעובי הקווים שמחברים בין FEATURES לבין OUTPUT שמייצגים את המשקולות היחסיות של כל ישות.

משימה	סוג הרגולריזציה	שיעור ההתאמה (lambda)
1	ה2	0.1
2	ה2	0.3
3	ה1	0.1
4	ה1	0.3
5	ה1	ניסוי

שאלות:

1. איך המעבר מ-L₂ אל L₁ רגולרי להשפיע על הדלתא בין אובדן במבחן לבין הפסד האימון?
2. איך המעבר מ-L₂ אל L₁ רגולרי להשפיע על המשקולות שנלמדו?
3. איך העלאת שיעור הרגולריזציה של L₁ (lambda) משפיעה את המשקולות שנלמדו?

(התשובות מופיעות מתחת לתרגיל).

---

---

כדי לקבל תשובות, לוחצים על סמל הפלוס.

1. מעבר דרמטי מ-L₂ ל-L₁ מפחיתה את הדלתא בין אובדן בדיקה לאובדן האימון.
2. מעבר מ-L₂ ל-L₁ הרגולריזציה את כל המשקולות שנלמדו.
3. בדרך כלל, הגדלת שיעור הרגולריזציה L₁ מפחיתה את הסיכון המשקולות שנלמדו; עם זאת, אם שיעור הרגולריזציה גבוה מדי, המודל לא יכול להתמזג, וההפסדים גבוהים מאוד.