تنظیم L 1
گزینه های زیر را بررسی کنید.
یک مدل خطی با 100 ویژگی ورودی را تصور کنید: 10 بسیار آموزنده هستند. 90 غیر اطلاعاتی هستند. فرض کنید همه ویژگی ها دارای مقادیری بین -1 و 1 هستند. کدام یک از عبارات زیر درست است؟
تنظیم L1 بسیاری از وزن‌های غیر اطلاعاتی را تشویق می‌کند که تقریباً (اما نه دقیقاً) 0.0 باشند.
به طور کلی، تنظیم L1 لامبدا کافی تمایل به تشویق ویژگی‌های غیر اطلاعاتی به وزن‌های دقیقاً 0.0 دارد. بر خلاف تنظیم L2، تنظیم L1 به همان سختی به سمت 0.0 فشار می آورد، مهم نیست که وزن چقدر از 0.0 فاصله داشته باشد.
تنظیم L1 بیشتر وزن های غیر اطلاعاتی را تشویق می کند که دقیقاً 0.0 باشند.
تنظیم L1 لامبدا کافی تمایل دارد که وزن‌های غیر اطلاعاتی را دقیقاً به 0.0 تبدیل کند. با انجام این کار، این ویژگی های غیر اطلاعاتی از مدل خارج می شوند.
تنظیم L1 ممکن است باعث شود که ویژگی های اطلاعاتی دقیقاً 0.0 وزن داشته باشند.
مراقب باشید - تنظیم L1 ممکن است باعث شود که به انواع ویژگی های زیر وزن دقیقاً 0 داده شود: ویژگی های اطلاعاتی ضعیف ویژگی های بسیار آموزنده در مقیاس های مختلف. ویژگی های اطلاعاتی به شدت با سایر ویژگی های آموزنده مشابه همبستگی دارد.
L 1 در مقابل L 2 منظم سازی
گزینه های زیر را بررسی کنید.
یک مدل خطی با 100 ویژگی ورودی را تصور کنید که همگی دارای مقادیری بین -1 و 1 هستند: 10 بسیار آموزنده هستند. 90 غیر اطلاعاتی هستند. کدام نوع منظم سازی مدل کوچکتر را تولید می کند؟
تنظیم L 2 .
تنظیم L 2 به ندرت تعداد ویژگی ها را کاهش می دهد. به عبارت دیگر، تنظیم L 2 به ندرت اندازه مدل را کاهش می دهد.
تنظیم L 1 .
تنظیم L 1 تمایل به کاهش تعداد ویژگی ها دارد. به عبارت دیگر، تنظیم L 1 اغلب اندازه مدل را کاهش می دهد.