L2 סדירה
האפשרויות מפורטות בהמשך.
נניח מודל לינארי עם 100 תכונות קלט:
10 הן אינפורמטיביות ביותר.
90 לא מספקות מידע.
צריך להניח שלכל התכונות יש ערך בין 1- ל-1.
אילו מהמשפטים הבאים נכונים?
רגולציית L2 תעודד רבים מהמשקלים הלא-אינפורמטיביים להיות כמעט (אבל לא בדיוק) 0.0.
כן, הרגולטור של L2 מעודד את המשקלים להיות קרובים ל-0.0, אבל לא בדיוק 0.0.
הרגולטור של L2 יעודד את רוב השקלולים הלא אינפורמטיביים להיות בדיוק 0.0.
הרגולטור של L2 לא נוטה לאלץ משקולות
ל-0.0 בדיוק. הרגולטור של L2 כולל משקלים גדולים יותר מאשר משקולות קטנות יותר. כשהמשקל מתקרב ל-0.0, L2 "דוחף" בעוצמה נמוכה יותר ל-0.0.
רדירזציה 2 עלולה לגרום למודל ללמוד
משקל בינוני לתכונות לא אינפורמטיביות.
באופן מפתיע, מצב כזה עשוי לקרות כאשר יש מתאם
בין תכונה לא אינפורמטיבית לבין התווית. במקרה כזה, המודל מספק באופן שגוי תכונות לא אינפורמטיביות כאלה חלק מה "קרדיט" שאמור היה
לעבור לתכונות אינפורמטיביות.
L2 תכונות רגולריות ותכונות תואמות
האפשרויות מפורטות בהמשך.
חשבו על מודל לינארי עם שתי תכונות בעלות מתאם חזק. כלומר,
שתי התכונות האלה הן עותקים כמעט זהים אחת של השנייה, אבל תכונה אחת
מכילה כמות קטנה של רעש אקראי. אם נאמן את המודל הזה עם רגולטור L2, מה יקרה למשקולות של שתי התכונות האלה?
שתי התכונות יהיו בעלות משקלים בינוניים בערך.
הר2 יאלץ את התכונות לקבל משקלים דומים, בערך, שהם בערך חצי מהערך שהן היו יכולות לקבל אם רק אחת משתי התכונות הייתה במודל.
לתכונה אחת יהיה משקל גדול, ולתכונה השנייה יהיה משקל כמעט 0.0.
הרגולטור של L2 מקשה על משקולות גדולות יותר מאשר על משקולות קטנות. כך, גם אם משקל אחד מתחיל לרדת מהר יותר מהמשקל השני, הרגולטור של L2 נוטה לאלץ את המשקל הגדול לרדת מהר יותר מהמשקל הקטן יותר.
לפריט אחד יהיה משקל גדול, ולחלק השני יהיה משקל בדיוק 0.0.
ר2 לרוב מאלצת שקלול ל-0.0 בדיוק. לעומת זאת, הרגולטור של L1 (בהמשך) כן מאלצת את המשקולות בדיוק ל-0.0.