بررسی L 1 Regularization

این تمرین شامل یک مجموعه داده آموزشی کوچک و کمی پر سر و صدا است. در این نوع تنظیمات، بیش از حد برازش یک نگرانی واقعی است. منظم‌سازی ممکن است کمک کند، اما کدام شکل منظم‌سازی؟

این تمرین شامل پنج کار مرتبط است. برای ساده کردن مقایسه بین پنج کار، هر کار را در یک برگه جداگانه اجرا کنید.توجه داشته باشید که ضخامت خطوط اتصال FEATURES و OUTPUT نشان دهنده وزن نسبی هر ویژگی است.

وظیفه نوع منظم سازی نرخ منظم سازی (لامبدا)
1 L 2 0.1
2 L 2 0.3
3 L 1 0.1
4 L 1 0.3
5 L 1 آزمایش

سوالات:

  1. چگونه تغییر از L 2 به L 1 منظم بر دلتای بین از دست دادن تست و از دست دادن تمرین تاثیر می گذارد؟
  2. تغییر از تنظیم L 2 به L 1 چگونه بر وزن های آموخته شده تأثیر می گذارد؟
  3. چگونه افزایش نرخ منظم سازی L 1 (لامبدا) بر وزن های آموخته شده تأثیر می گذارد؟

(پاسخ ها درست در زیر تمرین ظاهر می شوند.)