منظم سازی برای سادگی: لامبدا

توسعه‌دهندگان مدل، تأثیر کلی عبارت منظم‌سازی را با ضرب مقدار آن در یک اسکالر معروف به لامبدا (که نرخ منظم‌سازی نیز نامیده می‌شود) تنظیم می‌کنند. به این معنی که توسعه دهندگان مدل قصد دارند موارد زیر را انجام دهند:

$$\text{minimize(Loss(Data|Model)} + \lambda \text{ complexity(Model))}$$

انجام منظم سازی L 2 تأثیر زیر را بر روی یک مدل دارد

  • مقادیر وزن را به سمت 0 (اما نه دقیقاً 0) تشویق می کند.
  • میانگین وزن‌ها را با توزیع نرمال (زنگ‌شکل یا گاوسی) به سمت 0 تشویق می‌کند.

افزایش مقدار لامبدا اثر منظم سازی را تقویت می کند. به عنوان مثال، هیستوگرام وزن برای مقدار بالای لامبدا ممکن است مانند شکل 2 باشد.

هیستوگرام وزن های یک مدل با میانگین صفر و توزیع نرمال.

شکل 2. هیستوگرام وزن ها.

همانطور که در شکل 3 نشان داده شده است، کاهش مقدار لامبدا منجر به ایجاد یک هیستوگرام صاف تر می شود.

هیستوگرام وزن های یک مدل با میانگین صفر که جایی بین توزیع مسطح و توزیع نرمال است.

شکل 3. هیستوگرام وزن های تولید شده توسط مقدار لامبدا پایین تر.

هنگام انتخاب مقدار لامبدا، هدف ایجاد تعادل مناسب بین سادگی و تناسب داده های آموزشی است:

  • اگر مقدار لامبدا شما بیش از حد بالا باشد، مدل شما ساده خواهد بود، اما شما در معرض خطر عدم تناسب داده های خود هستید. مدل شما به اندازه کافی در مورد داده های آموزشی یاد نمی گیرد تا بتواند پیش بینی های مفیدی انجام دهد.

  • اگر مقدار لامبدا شما خیلی کم باشد، مدل شما پیچیده‌تر می‌شود و شما در معرض خطر بیش از حد برازش داده‌هایتان هستید. مدل شما بیش از حد در مورد ویژگی های داده های آموزشی یاد می گیرد و نمی تواند به داده های جدید تعمیم دهد.

مقدار ایده آل لامبدا مدلی را تولید می کند که به خوبی به داده های جدید و قبلاً دیده نشده تعمیم می یابد. متأسفانه، این مقدار ایده‌آل لامبدا وابسته به داده است، بنابراین باید مقداری تنظیم.