منظم سازی برای سادگی

منظم سازی به معنای جریمه کردن پیچیدگی یک مدل برای کاهش بیش از حد برازش است.

منظم سازی برای سادگی

عملکرد ضرر برای مجموعه تمرینی به تدریج کاهش می یابد. در مقابل، تابع ضرر برای مجموعه اعتبار سنجی کاهش می یابد، اما سپس شروع به افزایش می کند.
  • ما می خواهیم در صورت امکان از پیچیدگی مدل جلوگیری کنیم.
  • ما می توانیم این ایده را در بهینه سازی هایی که در زمان آموزش انجام می دهیم، بسازیم.
  • به حداقل رساندن ریسک تجربی:
    • خطای آموزشی کم را هدف قرار می دهد

      • $$ \text{minimize: } Loss(Data\;|\;Model) $$

  • ما می خواهیم در صورت امکان از پیچیدگی مدل جلوگیری کنیم.
  • ما می توانیم این ایده را در بهینه سازی هایی که در زمان آموزش انجام می دهیم، بسازیم.
  • به حداقل رساندن ریسک ساختاری:
    • خطای آموزشی کم را هدف قرار می دهد
    • در حالی که در برابر پیچیدگی تعادل برقرار می کند

      • $$ \text{minimize: } Loss(Data\;|\;Model) + complexity(Model) $$

  • چگونه پیچیدگی (مدل) را تعریف کنیم؟
  • چگونه پیچیدگی (مدل) را تعریف کنیم؟
  • وزن های کوچکتر را ترجیح دهید
  • چگونه پیچیدگی (مدل) را تعریف کنیم؟
  • وزن های کوچکتر را ترجیح دهید
  • انحراف از این باید هزینه داشته باشد
  • می تواند این ایده را از طریق منظم سازی L 2 (با نام مستعار ریج) رمزگذاری کند.
    • پیچیدگی (مدل) = مجموع مجذورات اوزان
    • وزنه های واقعا بزرگ را جریمه می کند
    • برای مدل های خطی: شیب های صاف تر را ترجیح می دهد
    • پیشین بیزی:
      • وزن ها باید حول محور صفر باشند
      • وزن ها باید به طور معمول توزیع شوند

$$ Loss(Data|Model) + \lambda \left(w_1^2 + \ldots + w_n^2 \right) $$

\(\text{Where:}\)

\(Loss\text{: Aims for low training error}\)\(\lambda\text{: Scalar value that controls how weights are balanced}\)\(w_1^2+\ldots+w_n^2\text{: Square of}\;L_2\;\text{norm}\)

قبلی
ورزش زمین بازی: عبور از روی زمین؟
بعدی
تنظیم L2