בדיקת הרגולציה של L2
תרגיל זה מכיל מערך נתונים קטן ורועש לאימון. בהקשר כזה, התאמת יתר היא בעיה ממשית. למרבה המזל, העדכון יכול לעזור.
התרגיל הזה מורכב משלוש משימות קשורות. כדי לפשט את ההשוואות בשלושת המשימות, מריצים כל משימה בכרטיסייה נפרדת.
- משימה 1: הפעילו את המודל כפי שניתן במשך 500 תקופות של זמן (epoch) לפחות. חשוב
לשים לב לפרטים הבאים:
- אובדן מכשירים.
- הדלתא בין אובדן בחינה לבין אובדן אימון.
- המשקולות שנלמדו של התכונות והתכונה חוצה. (העובי היחסי של כל קו שעובר מ-FEATURES עד ל-OUTPUT מייצג את המשקל שנלמד עבור הפיצ'ר או הצלב של התכונה. כדי למצוא את ערכי המשקל המדויקים, אפשר להעביר את העכבר מעל כל שורה).
- משימה 2: (כדאי לבצע את המשימה הזו בכרטיסייה נפרדת.) מעלים את קצב הרגולציה מ-0 ל-0.3. לאחר מכן, מריצים את
המודל למשך 500 תקופות של זמן-מה לפחות ומוצאים תשובות לשאלות הבאות:
- מה ההבדל בין אובדן 'בדיקה' במשימה 2 לבין אובדן 'בדיקה' במשימה 1?
- מה ההבדל בין ההבדל בין אובדן בחינה לבין אובדן אימון במשימה 2 לבין ההפרש במשימה 1?
- מה ההבדל בין המשקולות שנלמדו עבור כל תכונה ותכונה ממשימה 2 למשימה 1?
- מה המשמעות של התוצאות לגבי מורכבות המודל?
- משימה 3: ערכו ניסויים בשיעור הרגולטור בניסיון למצוא את הערך האופטימלי.
(התשובות מופיעות מתחת לתרגיל).