רגולציית L1
האפשרויות מפורטות בהמשך.
נניח מודל לינארי עם 100 תכונות קלט:
10 הן אינפורמטיביות ביותר.
90 לא מספקות מידע.
צריך להניח שלכל התכונות יש ערך בין 1- ל-1.
אילו מהמשפטים הבאים נכונים?
רגולציית L1 תעודד רבים מהמשקלים הלא אינפורמטיביים להיות כמעט (אבל לא בדיוק) 0.0.
באופן כללי, רגולציית L1 של lambda מספקת נוטה לעודד תכונות לא אינפורמטיביות לקחת משקל של 0.0 בדיוק.
בשונה מרגולציית L2, הרגולטור של L1 "דוחף" באותה מידה ל-0.0, ללא קשר למרחק של המשקל מ-0.0.
הרגולטור של L1 יעודד את רוב השקלולים הלא אינפורמטיביים
להיות 0.0 בדיוק.
רגולציית L1 של lambda מספקת נוטה לעודד משקלים לא אינפורמטיביים להפוך ל-0.0 בדיוק. כך, התכונות הלא-אינפורמטיביות האלה עוזבות את המודל.
רגולציית L1 עשויה לגרום לתכונות אינפורמטיביות לקבל משקל של 0.0 בדיוק.
זהירות--הרגולטור של L1 עלול לגרום למתן משקל של 0 בדיוק לסוגים הבאים:
תכונות שמספקות מידע חלש.
תכונות אינפורמטיביות מאוד, שמתאימות לכל קנה מידה.
תכונות אינפורמטיביות בעלות קשר הדוק לתכונות אחרות
אינפורמטיביות דומות.
L1 לעומת L2
האפשרויות מפורטות בהמשך.
נניח שיש לכם מודל לינארי עם 100 תכונות קלט, שלכולן יש ערכים בין 1- ל-1:
10 הן אינפורמטיביות ביותר.
90 לא מספקות מידע.
איזה סוג של רגולטור ייצור את המודל הקטן יותר?
רגולציית L2.
הר2 מפחית את מספר התכונות רק לעיתים רחוקות.
במילים אחרות, הרגולטור של L2 מפחית את גודל המודל כמעט.
רגולציית L1.
הרגולטור של רמה 1 נוטה לצמצם את מספר התכונות. במילים אחרות, הרגולטור של L1 מפחית את גודל המודל לעיתים קרובות.