קל לארגן דפים בעזרת אוספים
אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
בדיקת הרגולריזציה של L2
התרגיל הזה מכיל מערך נתונים קטן ורעשני של אימון.
בסביבה כזו, ביגוד יתר הוא חשש אמיתי. למזלנו,
הרגולריזציה יכולה לעזור.
התרגיל הזה מורכב משלוש משימות קשורות. כדי לפשט את ההשוואות
לכל שלוש המשימות, להריץ כל משימה בכרטיסייה נפרדת.
משימה 1: מריצים את המודל כפי שניתן במשך 500 תקופות של זמן (epoch) לפחות. הערה
הבאים:
אובדן בדיקה.
הדלתא בין אובדן בבדיקה ואובדן אימון.
המשקלים שנלמדו של התכונות ושל התכונה מוצלבים.
(העובי היחסי של כל שורה שפועלת מ-FEATURES עד OUTPUT
מייצג את המשקל שנלמד עבור אותה תכונה או צלב תכונה.
כדי למצוא את ערכי המשקל המדויקים, יש להעביר את העכבר מעל
בכל שורה).
משימה 2: (כדאי לבצע את המשימה הזו בכרטיסייה נפרדת.) הגדל את
שיעור הנורמליזציה מ-0 ל-0.3. לאחר מכן, מריצים את
במשך 500 תקופות של זמן, או למצוא תשובות לשאלות הבאות:
מה ההבדל בין אובדן בדיקה במשימה 2 לבין אובדן הבדיקה במשימה
1?
איך משתנה הדלת בין אובדן בבדיקה לבין אובדן אימון במשימה 2
שונה ממשימה 1?
מה ההבדל בין המשקולות שנלמדו לכל תכונה ולכל תכונה
ממשימה 2 למשימה 1?
מה המשמעות של התוצאות לגבי מורכבות המודל?
משימה 3: כדאי לערוך ניסויים בשיעור הרגולריזציה (regularization), ולנסות למצוא את
ערך אופטימלי.
(התשובות מופיעות מתחת לתרגיל).
כדי לקבל תשובות, לוחצים על סמל הפלוס.
העלאת שיעור הרגולריזציה מ-0 ל-0.3 תוביל לתוצאות הבאות
אפקטים:
אובדן הבדיקה יורד באופן משמעותי.
הערה: כשההפסד מהבדיקות יורד, למעשה אובדן האימון
עלייה. מצב זה צפוי בגלל שהוספת עוד
לפונקציית הפסד כדי להעניש על מורכבות. בסופו של דבר, כל זה
זה הוא 'הפסד בדיקה', כי זה המדד האמיתי ליכולת של המודל
להפיק חיזויים טובים לגבי נתונים חדשים.
הדלתא בין 'הפסד בבדיקה' לבין 'הפסד באימון' יורדת באופן משמעותי.
משקולות התכונות וחלק מהצלבות מאפיינים הם נמוכים יותר
ערכים מוחלטים, שמעידים על כך שהמורכבות של המודל יורדת.
בהינתן הרנדומיזציה בקבוצת הנתונים, לא ניתן לחזות
איזה שיעור על בסיס הרגולריזציה הניב את התוצאות הטובות ביותר.
מבחינתנו, שיעור התקינה (regularization) של 0.3 או 1 בדרך כלל מיוצר
את שיעור האובדן הנמוך ביותר מסוג 'בדיקה'.
[[["התוכן קל להבנה","easyToUnderstand","thumb-up"],["התוכן עזר לי לפתור בעיה","solvedMyProblem","thumb-up"],["סיבה אחרת","otherUp","thumb-up"]],[["חסרים לי מידע או פרטים","missingTheInformationINeed","thumb-down"],["התוכן מורכב מדי או עם יותר מדי שלבים","tooComplicatedTooManySteps","thumb-down"],["התוכן לא עדכני","outOfDate","thumb-down"],["בעיה בתרגום","translationIssue","thumb-down"],["בעיה בדוגמאות/בקוד","samplesCodeIssue","thumb-down"],["סיבה אחרת","otherDown","thumb-down"]],["עדכון אחרון: 2024-08-22 (שעון UTC)."],[[["This exercise explores the impact of *L~2~* regularization on model performance, particularly in addressing overfitting with a small, noisy dataset."],["The tasks involve observing the effects of varying regularization rates on test loss, training loss, and learned feature weights."],["Increasing the regularization rate generally decreases test loss and model complexity, but might increase training loss."],["Experimentation is encouraged to identify the optimal regularization rate for achieving the lowest test loss on unseen data."]]],[]]
