תוכלו לעיין באפשרויות שמפורטות בהמשך.
נניח שיש מודל ליניארי עם שתי תכונות במתאם חזק; כלומר,
שתי התכונות האלה הן כמעט זהות זה לזה
מכיל כמות קטנה של רעש אקראי. אם מאמנים את המודל
עם L2 רגולרי, מה יקרה למשקולות
לשתי התכונות האלה?
לשתי הישויות יהיו משקלים בינוניים שוויוניים, פחות או יותר.
רמה 2 תאלץ את התכונות
משקולות שוות ערך בערך בחצי
מה הם היו מקבלים בגרסה אחת בלבד
במודל.
לתכונה אחת יש משקולת גדולה; לסרטון השני יהיה
משקל של כמעט 0.0.
2 הרגולריזציה משפיעה על משקלים גדולים יותר
ממשקולות קטנים. כך שגם אם התחילה ירידה במשקל אחד
מהיר יותר מהשיטה האחרת, L2 רגיל
נוטים לאלץ משקל גדול יותר לרדת מהר יותר מאשר
של משקל קטן יותר.
לתכונה אחת יש משקולת גדולה; לסרטון השני יהיה
שגודלו בדיוק 0.0.
L2 קורלציה מאולצת רק לעיתים רחוקות
את המשקולות ל-0.0 בדיוק. לעומת זאת, רגילה1
(בהמשך) כן מאלצים משקולות ל-0.0 בדיוק.