بررسی منظم سازی L 2
این تمرین شامل یک مجموعه داده آموزشی کوچک و پر سر و صدا است. در این نوع تنظیمات، بیش از حد برازش یک نگرانی واقعی است. خوشبختانه، منظم کردن ممکن است کمک کند.
این تمرین از سه کار مرتبط تشکیل شده است. برای ساده کردن مقایسه بین سه کار، هر کار را در یک برگه جداگانه اجرا کنید.
- وظیفه 1: مدل را همانطور که برای حداقل 500 دوره داده شده اجرا کنید. به موارد زیر توجه کنید:
- از دست دادن تست
- دلتای بین از دست دادن تست و از دست دادن آموزش.
- وزن های آموخته شده از ویژگی ها و تلاقی ویژگی ها. (ضخامت نسبی هر خط از FEATURES تا OUTPUT نشان دهنده وزن آموخته شده برای آن ویژگی یا تلاقی ویژگی است. می توانید مقادیر دقیق وزن را با نگه داشتن ماوس روی هر خط بیابید.)
- وظیفه 2: ( انجام این Task را در یک تب جداگانه در نظر بگیرید. ) نرخ منظم سازی را از 0 به 0.3 افزایش دهید. سپس، مدل را حداقل برای 500 دوره اجرا کنید و پاسخ سوالات زیر را بیابید:
- ضرر تست در کار 2 با ضرر تست در کار 1 چه تفاوتی دارد؟
- دلتای بین از دست دادن تست و از دست دادن آموزش در Task 2 چه تفاوتی با Task 1 دارد؟
- وزن های آموخته شده هر ویژگی و متقاطع ویژگی از Task 2 تا Task 1 چه تفاوتی دارد؟
- نتایج شما در مورد پیچیدگی مدل چه می گوید؟
- وظیفه 3: با نرخ منظم سازی آزمایش کنید، سعی کنید مقدار بهینه را پیدا کنید.
(پاسخ ها درست در زیر تمرین ظاهر می شوند.)