نرخ یادگیری و همگرایی
این اولین تمرین از چندین تمرین زمین بازی است. Playground برنامه ای است که مخصوصاً برای این دوره برای آموزش اصول یادگیری ماشینی توسعه یافته است. هر تمرین Playground در این دوره شامل یک نمونه زمین بازی تعبیه شده با تنظیمات از پیش تعیین شده است.
هر تمرین Playground یک مجموعه داده ایجاد می کند. برچسب این مجموعه داده دارای دو مقدار ممکن است. شما می توانید آن دو مقدار ممکن را به عنوان هرزنامه در مقابل نه هرزنامه یا شاید درختان سالم در مقابل درختان بیمار در نظر بگیرید. هدف بیشتر تمرین‌ها تغییر دادن ابرپارامترهای مختلف برای ساخت مدلی است که با موفقیت یک مقدار برچسب را از دیگری طبقه‌بندی کند (جدا یا متمایز کند). توجه داشته باشید که اکثر مجموعه های داده حاوی مقدار مشخصی نویز هستند که طبقه بندی موفقیت آمیز هر نمونه را غیرممکن می کند.
برای توضیح تصویرسازی مدل، روی نماد مثبت کلیک کنید.
هر تمرین Playground تصویری از وضعیت فعلی مدل را نشان می دهد. به عنوان مثال، در اینجا یک تجسم وجود دارد:
در مورد تجسم مدل به موارد زیر توجه کنید:
- هر محور نشان دهنده یک ویژگی خاص است. در مورد هرزنامه در مقابل غیر هرزنامه، ویژگی ها می تواند تعداد کلمات و تعداد گیرندگان ایمیل باشد.
- هر نقطه مقادیر ویژگی را برای یک نمونه از داده ها، مانند ایمیل، ترسیم می کند.
- رنگ نقطه نشان دهنده کلاسی است که مثال به آن تعلق دارد. به عنوان مثال، نقاط آبی می تواند نشان دهنده ایمیل های غیر اسپم باشد در حالی که نقاط نارنجی می توانند نشان دهنده ایمیل های هرزنامه باشند.
- رنگ پس زمینه نشان دهنده پیش بینی مدل از جایی است که نمونه هایی از آن رنگ باید پیدا شود. پس زمینه آبی اطراف یک نقطه آبی به این معنی است که مدل به درستی آن مثال را پیش بینی می کند. برعکس، یک پس‌زمینه نارنجی در اطراف یک نقطه آبی به این معنی است که مدل به اشتباه آن مثال را پیش‌بینی میکند.
- رنگ های آبی و نارنجی پس زمینه کوچک شده اند. به عنوان مثال، سمت چپ تصویر به رنگ آبی یکدست است اما به تدریج در مرکز تجسم به رنگ سفید محو می شود. شما می توانید قدرت رنگ را به عنوان نشان دهنده اطمینان مدل در حدس خود در نظر بگیرید. بنابراین آبی یکدست به این معنی است که مدل در مورد حدس خود بسیار مطمئن است و آبی روشن به این معنی است که مدل اعتماد به نفس کمتری دارد. (تجسم مدل نشان داده شده در شکل، کار پیش بینی ضعیفی را انجام می دهد.)
از تجسم برای قضاوت در مورد پیشرفت مدل خود استفاده کنید. ("عالی—بیشتر نقاط آبی پس زمینه آبی دارند" یا "اوه نه! نقاط آبی پس زمینه نارنجی دارند.") فراتر از رنگ ها، Playground افت فعلی مدل را نیز به صورت عددی نمایش می دهد. ("اوه نه! ضرر به جای پایین آمدن بالا می رود.")
رابط این تمرین سه دکمه را ارائه می دهد:
| آیکون | نام | چکار میکند |
|---|---|---|
 | بازنشانی کنید | تکرارها را به 0 بازنشانی میکند. وزن‌هایی را که مدل قبلاً یاد گرفته بود، بازنشانی میکند. |
 | گام | یک تکرار پیش ببرید. با هر تکرار، مدل تغییر می کند – گاهی به صورت نامحسوس و گاهی به طرز چشمگیری. |
 | بازسازی کنید | یک مجموعه داده جدید تولید می کند. تکرارها را بازنشانی نمی کند. |
در این اولین تمرین زمین بازی، با انجام دو کار، میزان یادگیری را آزمایش خواهید کرد.
وظیفه 1: به منوی نرخ یادگیری در سمت راست بالای Playground توجه کنید. نرخ یادگیری داده شده - 3 - بسیار بالا است. با 10 یا 20 بار کلیک کردن روی دکمه "Step" مشاهده کنید که چگونه این نرخ یادگیری بالا بر مدل شما تأثیر می گذارد. پس از هر تکرار اولیه، توجه کنید که چگونه تجسم مدل به طور چشمگیری تغییر می کند. حتی ممکن است بعد از همگرا شدن مدل شاهد کمی بی ثباتی باشید. همچنین به خطوطی که از x 1 و x 2 تا تجسم مدل اجرا می شوند توجه کنید. وزن این خطوط نشان دهنده وزن آن ویژگی ها در مدل است. یعنی یک خط ضخیم نشان دهنده وزن زیاد است.
وظیفه 2: کارهای زیر را انجام دهید:
- دکمه Reset را فشار دهید.
- نرخ یادگیری را کاهش دهید.
- دکمه Step را چند بار فشار دهید.
نرخ یادگیری پایین چگونه بر همگرایی تأثیر گذاشت؟ هم تعداد مراحل مورد نیاز برای همگرایی مدل را بررسی کنید و هم اینکه مدل به آرامی و پیوسته همگرا می شود. با مقادیر کمتری از نرخ یادگیری آزمایش کنید. آیا می توانید سرعت یادگیری را خیلی کند پیدا کنید که مفید نباشد؟ (در زیر تمرین یک بحث پیدا خواهید کرد.)