الانحدار الخطي: أسلوب التدرّج المتّجه

النزول التدريجي هو أسلوب رياضي يحدّد بشكل متكرّر القيمتين الأفضل للوزن والانحياز اللذين يؤديان إلى إنشاء نموذج بأقل خسارة. تجد طريقة "النزول التدريجي" أفضل وزن وانحياز من خلال تكرار العملية التالية لعدد من التكرارات التي يحدّدها المستخدم.

يبدأ النموذج التدريب بأوزان وتحيزات عشوائية قريبة من الصفر، ثم يكرّر الخطوات التالية:

1. احسب مقدار الخسارة باستخدام الوزن والانحياز الحاليين.

2. تحديد الاتجاه الذي يجب تحريك الأوزان والانحيازات فيه لتقليل الخسارة

3. نقل قيم الوزن والانحياز بمقدار صغير في الاتجاه الذي يقلل من الخسارة

4. ارجع إلى الخطوة الأولى وكرِّر العملية إلى أن يتعذّر على النموذج تقليل الخسارة أكثر من ذلك.

يوضّح الرسم البياني أدناه الخطوات التكرارية التي تنفّذها طريقة "النزول التدريجي" للعثور على الأوزان والانحياز اللذين ينتجان النموذج بأقل خسارة.

الشكل 11 النزول التدرّجي هو عملية تكرارية للعثور على الأوزان والانحياز اللذين ينتجان النموذج بأقل خسارة.

انقر على رمز الإضافة لمعرفة المزيد عن العمليات الحسابية التي تستند إليها طريقة "النزول التدرّجي".

على مستوى ملموس، يمكننا التعرّف على خطوات نزول تدرّجي باستخدام مجموعة بيانات صغيرة عن الكفاءة في استهلاك الوقود تتضمّن سبعة أمثلة، و الخطأ التربيعي المتوسّط (MSE) كمقياس للخسارة:

الجنيهات بالآلاف (ميزة)	ميل لكل غالون (التصنيف)
3.5	18
3.69	15
3.44	18
3.43	16
4.34	15
4.42	14
2.37	24

1. يبدأ النموذج التدريب من خلال ضبط الوزن والانحياز على صفر:
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. احسب خسارة الخطأ التربيعي المتوسّط باستخدام مَعلمات النموذج الحالي:
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. احتساب ميل المماس لدالة الخسارة عند كل وزن وانحياز:
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

انقر على رمز الإضافة للتعرّف على كيفية حساب الميل.

للحصول على ميل الخطوط المماسّة للوزن والانحياز، نحسب مشتقة دالة الخسارة بالنسبة إلى الوزن والانحياز، ثم نحل المعادلات.

سنكتب المعادلة الخاصة بإجراء عملية توقّع على النحو التالي:
$ f_{w,b}(x) = (w*x)+b $.

سنكتب القيمة الفعلية على النحو التالي: $ y $.

سنحتسب متوسط الخطأ التربيعي باستخدام المعادلة التالية:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
حيث يمثّل $i$ المثال التدريبي رقم $i$ ويمثّل $M$ عدد الأمثلة.

مشتق الوزن

يمكن كتابة مشتقة دالة الخسارة بالنسبة إلى الوزن على النحو التالي:
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


وتكون قيمة التعبير على النحو التالي:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

نجمع أولاً كل قيمة متوقّعة مطروحًا منها القيمة الفعلية، ثم نضرب الناتج في ضعف قيمة السمة. بعد ذلك، نقسّم المجموع على عدد الأمثلة. والنتيجة هي ميل الخط المماس لقيمة الوزن.

إذا حللنا هذه المعادلة باستخدام وزن وانحياز يساويان صفرًا، سنحصل على -119.7 لميل الخط.

مشتق الانحياز

يمكن كتابة مشتق دالة الخسارة بالنسبة إلى الانحياز على النحو التالي:
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


وتكون النتيجة:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

أولاً، نجمع كل قيمة متوقّعة مطروحًا منها القيمة الفعلية، ثم نضرب الناتج في اثنين. ثم نقسم المجموع على عدد الأمثلة. والنتيجة هي ميل الخط المماس لقيمة الانحياز.

إذا حللنا هذه المعادلة باستخدام وزن وانحياز يساويان صفرًا، سنحصل على -34.3 لميل الخط.

4. حرِّك مقدارًا صغيرًا في اتجاه الميل السالب للحصول على الوزن والانحياز التاليَين. في الوقت الحالي، سنعرّف بشكل عشوائي "المبلغ الصغير" على أنّه 0.01:
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

استخدِم الوزن والانحياز الجديدَين لاحتساب الخسارة وكرِّر العملية. بعد إكمال العملية لست مرات، سنحصل على الأوزان والانحيازات والخسائر التالية:

التكرار	الوزن	الانحياز	الخسارة (الخطأ التربيعي المتوسّط)
1	0	0	303.71
2	1.20	0.34	170.84
3	2.05	0.59	103.17
4	2.66	0.78	68.70
5	3.09	0.91	51.13
6	3.40	1.01	42.17

يمكنك ملاحظة أنّ الخسارة تنخفض مع كل وزن وميل معدَّلَين. في هذا المثال، توقّفنا بعد ست تكرارات. في الواقع، يتم تدريب النموذج إلى أن يتقارب. عندما يتقارب النموذج، لا تؤدي التكرارات الإضافية إلى تقليل الخسارة بشكل أكبر لأنّ طريقة "النزول التدريجي" قد عثرت على الأوزان والانحياز اللذين يقلّلان الخسارة إلى الحد الأدنى تقريبًا.

إذا استمرّ النموذج في التدريب بعد التقارب، سيبدأ معدّل الخطأ في التقلّب بكميات صغيرة لأنّ النموذج يواصل تعديل المَعلمات حول أدنى قيمها. ويمكن أن يصعّب ذلك التحقّق من أنّ النموذج قد تقارب بالفعل. للتأكّد من أنّ النموذج قد تقارب، عليك مواصلة التدريب إلى أن يستقر معدّل الخطأ.

تقارب النماذج ومنحنيات الخسارة

عند تدريب نموذج، ستنظر غالبًا إلى منحنى الخسارة لتحديد ما إذا كان النموذج قد تقارب. يعرض منحنى الخسارة كيفية تغيُّر الخسارة أثناء تدريب النموذج. في ما يلي شكل منحنى الخسارة النموذجي. يظهر معدّل الخطأ على المحور الصادي والتكرارات على المحور السيني:

الشكل 12 منحنى الخسارة الذي يعرض النموذج الذي يتقارب حول علامة التكرار الألف.

يمكنك ملاحظة أنّ الخسارة تنخفض بشكل كبير خلال التكرارات القليلة الأولى، ثم تنخفض تدريجيًا قبل أن تستقر عند التكرار رقم 1,000 تقريبًا. بعد 1,000 تكرار، يمكننا التأكّد بشكل كبير من أنّ النموذج قد تقارب.

في الأشكال التالية، نرسم النموذج في ثلاث نقاط خلال عملية التدريب: البداية والمنتصف والنهاية. يؤدي عرض حالة النموذج في لقطات أثناء عملية التدريب إلى تعزيز العلاقة بين تعديل الأوزان والتحيّز وتقليل الخسارة وتقارب النموذج.

في الأشكال، نستخدم الأوزان والانحياز المشتقَّين في تكرار معيّن لتمثيل النموذج. في الرسم البياني الذي يتضمّن نقاط البيانات ولقطة النموذج، تعرض خطوط الفقدان الزرقاء من النموذج إلى نقاط البيانات مقدار الفقدان. وكلما طالت الخطوط، زادت الخسارة.

في الشكل التالي، نلاحظ أنّه في التكرار الثاني تقريبًا، لن يكون النموذج جيدًا في تقديم التوقعات بسبب ارتفاع مقدار الخسارة.

الشكل 13 رسم بياني لفقدان البيانات ولقطة للنموذج في بداية عملية التدريب

في التكرار رقم 400 تقريبًا، نلاحظ أنّ طريقة "النزول التدريجي" قد عثرت على الوزن والانحياز اللذين ينتجان نموذجًا أفضل.

الشكل 14 منحنى الخسارة ولقطة للنموذج في منتصف عملية التدريب تقريبًا

وبعد حوالي 1,000 تكرار، نلاحظ أنّ النموذج قد تقارب، ما أدّى إلى إنشاء نموذج بأقل خسارة ممكنة.

الشكل 15 منحنى الخسارة ولقطة للنموذج بالقرب من نهاية عملية التدريب

تمرين: التحقّق من فهمك

ما هو دور نزول تدرّجي في الانحدار الخطي؟

انحدار التدرّج هو عملية تكرارية تعثر على أفضل قيم للأوزان والانحياز تؤدي إلى تقليل الخسارة.

تساعد عملية "النزول التدريجي" في تحديد نوع الخسارة التي يجب استخدامها عند تدريب نموذج، مثل L₁ أو L₂.

لا يتم استخدام طريقة "النزول التدريجي" في اختيار دالة الخسارة لتدريب النموذج.

تزيل طريقة "النزول التدريجي" القيم الشاذة من مجموعة البيانات لمساعدة النموذج في تقديم توقّعات أفضل.

لا تغيّر طريقة "النزول التدريجي" مجموعة البيانات.

التقارب والدوال المحدّبة

تنتج دوال الخسارة للنماذج الخطية دائمًا سطحًا محدبًا. نتيجةً لهذه السمة، عندما يتقارب نموذج الانحدار الخطي، نعلم أنّ النموذج قد وجد الأوزان والانحياز اللذين يؤديان إلى أقل خسارة.

إذا رسمنا بيانيًا سطح دالة الخسارة لنموذج يتضمّن ميزة واحدة، يمكننا ملاحظة شكله المحدّب. في ما يلي سطح الخسارة لمجموعة بيانات افتراضية حول عدد الأميال المقطوعة لكل غالون. الوزن على المحور السيني، والانحياز على المحور الصادي، والخسارة على المحور العيني:

الشكل 16. سطح الخسارة الذي يعرض شكله المحدّب

في هذا المثال، يؤدي وزن -5.44 وانحياز 35.94 إلى أقل خسارة عند 5.54:

الشكل 17 رسم بياني لسطح الدالة الهدف يعرض قيم الأوزان والانحياز التي تؤدي إلى أقل خسارة

يتقارب النموذج الخطي عندما يعثر على الحد الأدنى من الخسارة. إذا رسمنا بيانيًا للأوزان ونقاط الانحياز أثناء عملية نزول التدرّج، ستبدو النقاط وكأنّها كرة تتدحرج نزولاً من تلّ، وتتوقف أخيرًا عند النقطة التي لا يوجد فيها المزيد من المنحدرات.

ملاحظة: لا يعثر النموذج أبدًا تقريبًا على قيم الوزن والانحياز المحددة التي تقلّل الخسارة، بل يعثر على قيم قريبة جدًا منها.

الشكل 18 رسم بياني للخسارة يعرض نقاط نزول التدرّج التي تتوقف عند أدنى نقطة في الرسم البياني

لاحظ أنّ نقاط الخسارة السوداء تشكّل الشكل الدقيق لمنحنى الخسارة: انخفاض حاد قبل أن ينحدر تدريجيًا إلى أن يصل إلى أدنى نقطة على سطح الخسارة.

ملاحظة: تمثّل هذه النقطة الحدّ الأدنى للخسارة في النموذج، والذي يكون عادةً أكبر من 0. ويعني فقدان القيمة 0 أنّ النموذج يتطابق مع كل نقطة بيانات تمامًا، وهو ما يشير عادةً إلى الإفراط في التكيّف (أي أنّ النموذج معقّد/قوي جدًا). تتم مناقشة الإفراط في التخصيص بمزيد من التفصيل لاحقًا في الدورة التدريبية.

باستخدام قيمتَي الوزن والانحياز اللتين تؤديان إلى أقل خسارة، أي وزن يبلغ ‎-5.44 وانحياز يبلغ ‎35.94 في هذه الحالة، يمكننا رسم النموذج بيانيًا لمعرفة مدى ملاءمته للبيانات:

الشكل 19. النموذج الذي تم رسمه بيانيًا باستخدام قيم الوزن والانحياز التي تؤدي إلى أقل خسارة

سيكون هذا هو النموذج الأفضل لمجموعة البيانات هذه لأنّه لا توجد قيم أخرى للأوزان والانحياز تنتج نموذجًا بأقل خسارة.

المصطلحات الرئيسية:

• التقارب
• دالة محدّبة
• النزول المتدرّج
• التكرار
• منحنى الخسارة

مركز المساعدة