الانحدار الخطي: أسلوب التدرّج المتّجه

التدرّج التنازلي هو أسلوب رياضي يحدِّد بشكلٍ متكرّر الأوزان والانحيازات التي تنتج النموذج الذي يحقّق أدنى خسارة. يحدِّد "التدرّج التنازلي" أفضل وزن وميل من خلال تكرار العملية التالية لعدد من التكرارات التي يحدّدها المستخدم.

يبدأ النموذج عملية التدريب باستخدام أوزان وقيم مُعيَّنة عشوائيًا تقترب من الصفر، ثم يكرّر الخطوات التالية:

1. احتسِب الخسارة باستخدام الوزن الحالي والميل.

2. تحديد اتجاه تحريك الأوزان والتحيز الذي يحدّ من الخسارة

3. حرِّك قيمتَي الوزن والميل بمقدار صغير في الاتجاه الذي يقلل من الخسارة.

4. ارجع إلى الخطوة الأولى وكرر العملية إلى أن يتعذّر على النموذج تقليل الخسارة.

يوضّح المخطّط البياني أدناه الخطوات المتكرّرة التي ينفّذها التدرّج التنازلي للعثور على النِسب والانحياز اللذَين ينتج عنهما النموذج الذي يحقّق أدنى خسارة.

الشكل 12 إنّ "التدرّج التنازلي" هو عملية تكرارية تبحث عن الأوزان والتحيّز الذي ينتج النموذج الذي يحقّق أدنى خسارة.

انقر على رمز الإضافة لمعرفة المزيد عن العمليات الحسابية التي تستند إليها طريقة "التناقص التدرّجي".

على مستوى محدّد، يمكننا الاطّلاع على خطوات الانحدار التدرّجي باستخدام مجموعة بيانات صغيرة تتضمّن سبعة أمثلة على وزن السيارة بالكيلوغرام وتقييمها بالميل لكل جالون:

الجنيهات بالآلاف (ميزة)	ميل لكل غالون (تصنيف)
3.5	18
3.69	15
3.44	18
3.43	16
4.34	15
4.42	14
2.37	24

1. يبدأ النموذج التدريب من خلال ضبط الوزن والميل على القيمة صفر:
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. احتساب خسارة متوسط الخطأ التربيعي باستخدام مَعلمات النموذج الحالية:
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. احتسِب ميل الخط المماس لدالة الخسارة عند كل وزن والانحراف:
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

انقر على رمز الإضافة للتعرّف على كيفية احتساب الانحدار.

للحصول على ميل الخطوط المماسة للوزن والتحيز، نأخذ مشتق دالة الخسارة بالنسبة إلى الوزن والتحيز، ثم نحلّ المعادلات.

سنكتب معادلة التوقّع على النحو التالي:
$ f_{w,b}(x) = (w*x)+b $.

سنكتب القيمة الفعلية على النحو التالي: $ y $.

سنحسب متوسط خطأ التربيع باستخدام:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
حيث يمثّل $i$ المثال التدريبي $ith$ ويمثّل $M$ عدد الأمثلة.

مشتقّة الوزن

يتم كتابة مشتقّ دالة الخسارة بالنسبة إلى المُدخلات على النحو التالي:
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


ويُحتسب على النحو التالي:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

أولاً، نجمع كل قيمة متوقّعة مطروحًا منها القيمة الفعلية ثم نضربها في ضعف قيمة السمة. بعد ذلك، نقسم المجموع على عدد الأمثلة. والنتيجة هي ميل الخط المماس للقيمة للوزن.

إذا حللنا هذه المعادلة باستخدام وزن وميل يساويان الصفر، نحصل على قيمة -119.7 لميل الخط.

مشتقة الانحياز

يتم كتابة مشتق دالة الخسارة بالنسبة إلى التحيّز على النحو التالي:
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


ويتم تقييمها على النحو التالي:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

أولاً، نجمع كل قيمة متوقّعة مطروحًا منها القيمة الفعلية، ثم نضربها في اثنين. بعد ذلك، نقسم المجموع على عدد الأمثلة. والنتيجة هي ميل الخط مماسٍ لقيمة الانحياز.

إذا حللنا هذه المعادلة باستخدام وزن وميل يساويان الصفر، نحصل على قيمة -34.3 لميل الخط.

4. حرِّك مقدارًا صغيرًا في اتجاه الانحدار السلبي للحصول على الوزن والميل التاليَين. في الوقت الحالي، سنحدّد بشكل عشوائي "المبلغ الصغير" على أنّه 0.01:
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

استخدِم الوزن والميل الجديدَين لاحتساب الخسارة والتكرار. عند إكمال العملية ست مرات، سنحصل على الأوزان والانحيازات والخسائر التالية:

التكرار	الوزن	الانحياز	الخسارة (MSE)
1	0	0	303.71
2	1.20	0.34	170.84
3	2.05	0.59	103.17
4	2.66	0.78	68.70
5	3.09	0.91	51.13
6	3.40	1.01	42.17

يمكنك ملاحظة أنّ الخسارة تنخفض مع كل وزن وميل معدَّلَين. في هذا المثال، توقّفنا بعد ستة تكرارات. في الممارسة العملية، يتم تدريب النموذج إلى أن يتم تقاربه. عندما يتقارب النموذج، لا تقلّل التكرارات الإضافية من الخسارة بشكلٍ أكبر لأنّ طريقة التدرج التنازلي قد عثرت على الأوزان والانحيازات التي تقريبًا تقلّل الخسارة إلى أدنى حدّ.

إذا استمرّ تدريب النموذج بعد تقارب القيم، يبدأ فقدان الأداء في التقلّب بكميات صغيرة بينما يعدّل النموذج باستمرار المَعلمات حول أدنى قيمها. وقد يجعل ذلك من الصعب التحقّق من تقارب النموذج. لتأكيد تقارب النموذج، عليك مواصلة التدريب إلى أن يصبح الفقد متوازنًا.

منحنيات التقارب والفقدان للنموذج

عند تدريب نموذج، غالبًا ما تنظر إلى منحنى الخسارة لتحديد ما إذا كان النموذج قد تقارب. يعرِض منحنى الخسارة كيفية تغيُّر الخسارة أثناء تدريب النموذج. في ما يلي شكل منحنى ملف تعريف الانحدار المعتاد. يظهر فقدان البيانات على المحور الصادي وعدد التكرارات على المحور السيني:

الشكل 13: منحنى الخسارة الذي يعرض تقارب النموذج بالقرب من علامة المحاولة الألف

يمكنك ملاحظة أنّ الخسارة تنخفض بشكل كبير خلال الجولات القليلة الأولى، ثم تنخفض تدريجيًا قبل أن تستقرّ عند علامة الجولة 1,000. بعد 1,000 تكرار، يمكننا التأكّد إلى حدٍ كبير من أنّ النموذج تقارب.

في الأشكال التالية، نرسم النموذج في ثلاث نقاط أثناء عملية التدريب: البداية والوسط والنهاية. من خلال عرض حالة النموذج في اللقطات أثناء عملية التدريب، يتم تعزيز الرابط بين تعديل الميول والأوزان وتقليل الخسارة وتقارب النموذج.

في الرسومات البيانية، نستخدم الأوزان والانحيازات المستمدة في تكرار معيّن ل represent the model. في الرسم البياني الذي يتضمّن نقاط البيانات وملخّص النموذج، يعرض خطوط الخسارة الزرقاء من النموذج إلى نقاط البيانات مقدار الخسارة. وكلما زاد طول الأسطر، زادت الخسارة.

في الشكل التالي، يمكننا أن نرى أنّه في غضون التكرار الثاني، لن يكون النموذج جيدًا في إجراء التوقّعات بسبب ارتفاع مقدار الخسارة.

الشكل 14 منحنى الخسارة ولقطة نموذج في بداية عملية التدريب

في الدورة 400 تقريبًا، يمكننا أن نرى أنّ طريقة التدرج التنازلي قد عثرت على المَعلمة والميول اللذَين ينتج عنهما نموذج أفضل.

الشكل 15 منحنى الخسارة ونبذة عن النموذج في منتصف مرحلة التدريب تقريبًا

وعند تكرار العملية 1,000 مرة تقريبًا، يمكننا أن نرى أنّ النموذج قد تقارب، مما أدى إلى إنشاء نموذج يتضمن أدنى خسارة ممكنة.

الشكل 16 منحنى الخسارة ولقطة للنموذج بالقرب من نهاية عملية التدريب

تمرين: التحقّق من فهمك

ما هو دور خوارزمية انحدار التدرج في الانحدار الخطي؟

إنّ انحدار التدرج هو عملية تكرارية تعثر على أفضل معاملات الترجيح والانحياز التي تقلّل الخسارة.

يساعد "التدرّج التنازلي" في تحديد نوع الخسارة التي يجب استخدامها عند تدريب نموذج، على سبيل المثال، L₁ أو L₂.

لا تشارك خوارزمية انحدار التدرج في اختيار دالة الخسارة لتدريب النموذج.

تزيل طريقة التدرج التنازلي القيم الشاذة من مجموعة البيانات لمساعدة النموذج في إجراء تنبؤات أفضل.

لا يؤدي التدرّج إلى تغيير مجموعة البيانات.

الدوالّ المتقاربة والمحدّبة

تُنشئ دوالّ الخسارة للنماذج الخطية دائمًا سطحًا مقعرًا. نتيجةً لهذه الخاصية، عندما يتقارب نموذج الانحدار الخطي، نعرف أنّ النموذج عثر على الأوزان والانحيازات التي تؤدي إلى أدنى خسارة.

إذا رسمنا سطح الخسارة لنموذج يتضمّن سمة واحدة، يمكننا رؤية شكله المنحني. في ما يلي سطح الخسارة لمجموعة بيانات افتراضية تُبيّن عدد الأميال التي يمكن قطعها لكل غالون. يظهر "الوزن" على المحور السيني، و"الانحياز" على المحور الصادي، و"الخسارة" على محور z:

الشكل 17: سطح الخسارة الذي يعرض شكله المحدّب

في هذا المثال، ينتج عن الوزن -5.44 والميل 35.94 أدنى خسارة عند 5.54:

الشكل 18 سطح الخسارة الذي يعرض قيم الوزن والانحياز التي تؤدي إلى تسجيل أدنى خسارة

يتقارب النموذج الخطي عند العثور على الحد الأدنى من الخسارة. لذلك، لا تؤدي الخطوات الإضافية إلا إلى تحريك قيم الوزن والانحياز في خطوات صغيرة جدًا حول الحد الأدنى باستخدام طريقة التدرج التنازلي. إذا رسمنا نقاط الأوزان والانحياز أثناء التدرّج التنازلي، ستبدو النقاط مثل كرة تتدحرج من تلة، وتتوقّف أخيرًا عند النقطة التي لا يتوفّر فيها أي ميل تنازلي.

الشكل 19 رسم بياني للخسارة يعرض نقاط الانحدار التدرّجي التي تتوقف عند أدنى نقطة في الرسم البياني

لاحِظ أنّ نقاط الخسارة السوداء تنشئ الشكل الدقيق لمنحنى الخسارة: وهو هبوط حاد قبل الانحدار تدريجيًا إلى أن تصل إلى أدنى نقطة في سطح الخسارة.

من المهمّ ملاحظة أنّ النموذج لا يعثر تقريبًا على القيمة الحدّ الأدنى لكلّ وزن وانحراف، بل يعثر بدلاً من ذلك على قيمة قريبة جدًا منها. من المهم أيضًا ملاحظة أنّ الحدّ الأدنى للقيم المعيارية والانحراف المعياري لا يتوافق مع صفر الخسارة، بل هو قيمة تؤدي فقط إلى أدنى خسارة لهذه المَعلمة.

باستخدام قيم الوزن والانحراف التي تؤدي إلى تحقيق أدنى خسارة، في هذه الحالة قيمة الوزن -5.44 وقيمة الانحراف 35.94، يمكننا إنشاء رسم بياني للنموذج لمعرفة مدى توافقه مع البيانات:

الشكل 20: نموذج تمّ رسمه بيانيًا باستخدام قيم الوزن والانحياز التي تحقّق أدنى خسارة

سيكون هذا هو النموذج الأفضل لمجموعة البيانات هذه لأنّه لا توجد قيم أخرى للوزن والميل تؤدي إلى إنشاء نموذج بفقدان أقل.

المصطلحات الرئيسية:

• Convergence
• دالّة محدّبة
• النزول التدرّجي
• التكرار
• منحنى الخسارة

مركز المساعدة