الانحدار الخطي: أسلوب التدرّج المتّجه

التدرّج التنازلي هو أسلوب رياضي يحدِّد بشكلٍ متكرّر الأوزان والانحيازات التي تنتج النموذج الذي يحقّق أدنى خسارة. يحدِّد "التدرّج التنازلي" أفضل وزن وميول من خلال تكرار العملية التالية لعدد من التكرارات التي يحدّدها المستخدم.

يبدأ النموذج عملية التدريب باستخدام أوزان وقيم مُعيّنة عشوائيًا تقترب من الصفر، ثم يكرر الخطوات التالية:

1. احتسِب الخسارة باستخدام الوزن الحالي والميل.

2. تحديد اتجاه تحريك الأوزان والتحيز الذي يحدّ من الخسارة

3. حرِّك قيم الوزن والانحياز بمقدار صغير في الاتجاه الذي يقلل من الخسارة.

4. ارجع إلى الخطوة الأولى وكرر العملية إلى أن يتعذّر على النموذج تقليل الخسارة.

يوضّح المخطّط البياني أدناه الخطوات المتكرّرة التي ينفّذها التدرّج التنازلي للعثور على الميول والأوزان التي تنتج النموذج بأقل خسارة.

الشكل 12 إنّ "التدرّج التنازلي" هو عملية تكرارية تبحث عن الأوزان والتحيّز اللذَين ينتجَان النموذج الذي يحقّق أدنى خسارة.

انقر على رمز الإضافة لمعرفة المزيد من المعلومات عن العمليات الحسابية التي تستند إليها طريقة "التناقص التدرّجي".

على مستوى محدّد، يمكننا الاطّلاع على خطوات الانحدار التدرّجي باستخدام مجموعة بيانات صغيرة تتضمّن سبعة أمثلة على وزن السيارة بالكيلوغرام وتقييمها بالميل لكل جالون:

الجنيهات بالآلاف (ميزة)	ميل لكل غالون (تصنيف)
3.5	18
3.69	15
3.44	18
3.43	16
4.34	15
4.42	14
2.37	24

1. يبدأ النموذج التدريب من خلال ضبط الوزن والانحياز على القيمة صفر:
$$ \small{Weight:\ 0} $$ $$ \small{Bias:\ 0} $$ $$ \small{y = 0 + 0(x_1)} $$
2. احتساب خسارة متوسط الخطأ التربيعي باستخدام مَعلمات النموذج الحالية:
$$ \small{Loss = \frac{(18-0)^2 + (15-0)^2 + (18-0)^2 + (16-0)^2 + (15-0)^2 + (14-0)^2 + (24-0)^2}{7}} $$ $$ \small{Loss= 303.71} $$
3. احتسِب ميل الخط المماس لدالة الخسارة عند كل وزن والانحراف:
$$ \small{Weight\ slope: -119.7} $$ $$ \small{Bias\ slope: -34.3} $$

انقر على رمز الإضافة للتعرّف على كيفية احتساب الانحدار.

للحصول على ميل الخطوط المماسة للوزن والتحيز، نأخذ مشتق دالة الخسارة بالنسبة إلى الوزن والتحيز، ثم نحلّ المعادلات.

سنكتب معادلة التوقّع على النحو التالي:
$ f_{w,b}(x) = (w*x)+b $.

سنكتب القيمة الفعلية على النحو التالي: $ y $.

سنحسب متوسط خطأ التربيع باستخدام:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $
حيث يمثّل $i$ المثال التدريبي $ith$ ويمثّل $M$ عدد الأمثلة.

مشتقّة الوزن

يتم كتابة مشتقّ دالة الخسارة بالنسبة إلى المُدخلات على النحو التالي:
$ \frac{\partial }{\partial w} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


ويتم تقييمها على النحو التالي:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2x_{(i)} $

أولاً، نجمع كل قيمة متوقّعة مطروحًا منها القيمة الفعلية ثم نضربها في ضعف قيمة السمة. بعد ذلك، نقسم المجموع على عدد الأمثلة. والنتيجة هي ميل الخط المماس للقيمة للوزن.

إذا حللنا هذه المعادلة باستخدام وزن وميل يساويان الصفر، نحصل على قيمة -119.7 لميل الخط.

مشتقة الانحياز

يتم كتابة مشتق دالة الخسارة بالنسبة إلى التحيّز على النحو التالي:
$ \frac{\partial }{\partial b} \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)})^2 $


ويتم تقييمها على النحو التالي:
$ \frac{1}{M} \sum_{i=1}^{M} (f_{w,b}(x_{(i)}) - y_{(i)}) * 2 $

أولاً، نجمع كل قيمة متوقّعة مطروحًا منها القيمة الفعلية ثم نضربها في اثنين. بعد ذلك، نقسم المجموع على عدد الأمثلة. والنتيجة هي ميل الخط الذي يميل إلى قيمة الانحياز.

إذا حللنا هذه المعادلة باستخدام وزن وميل يساويان الصفر، نحصل على قيمة -34.3 لميل الخط.

4. حرِّك مقدارًا صغيرًا في اتجاه الانحدار السلبي للحصول على الوزن والميل التاليَين. في الوقت الحالي، سنحدّد بشكل تعسّفي "المبلغ الصغير" على أنّه 0.01:
$$ \small{New\ weight = old\ weight - (small\ amount * weight\ slope)} $$ $$ \small{New\ bias = old\ bias - (small\ amount * bias\ slope)} $$ $$ \small{New\ weight = 0 - (0.01)*(-119.7)} $$ $$ \small{New\ bias = 0 - (0.01)*(-34.3)} $$ $$ \small{New\ weight = 1.2} $$ $$ \small{New\ bias = 0.34} $$

استخدِم الوزن والميل الجديدَين لاحتساب الخسارة والتكرار. عند إكمال العملية ست مرات، سنحصل على الأوزان والانحيازات والخسائر التالية:

التكرار	الوزن	الانحياز	الخسارة (MSE)
1	0	0	303.71
2	1.2	0.34	170.67
3	2.75	0.59	67.3
4	3.17	0.72	50.63
5	3.47	0.82	42.1
6	3.68	0.9	37.74

يمكنك ملاحظة أنّ الخسارة تنخفض مع كل وزن وميل معدَّلَين. في هذا المثال، توقّفنا بعد ستة تكرارات. في الممارسة العملية، يتم تدريب النموذج إلى أن يتم تقاربه. عندما يتقارب النموذج، لا تقلّل التكرارات الإضافية من الخسارة بشكلٍ أكبر لأنّ طريقة التدرج التنازلي قد عثرت على الأوزان والانحيازات التي تقريبًا تقلّل الخسارة إلى أدنى حدّ.

إذا استمرّ تدريب النموذج بعد تقارب القيم، يبدأ فقدان الأداء في التقلّب بكميات صغيرة بينما يعدّل النموذج باستمرار المَعلمات حول أدنى قيمها. وقد يجعل ذلك من الصعب التحقّق من أنّ النموذج قد تقارب بالفعل. لتأكيد تقارب النموذج، عليك مواصلة التدريب إلى أن يصبح الفقد متوازنًا.

منحنيات التقارب والفقدان للنموذج

عند تدريب نموذج، غالبًا ما تنظر إلى منحنى الخسارة لتحديد ما إذا كان النموذج قد تقارب. يعرِض منحنى الخسارة كيفية تغيُّر الخسارة أثناء تدريب النموذج. في ما يلي شكل منحنى ملف تعريف الانحدار المعتاد. يظهر فقدان البيانات على المحور الصادي وعدد التكرارات على المحور السيني:

الشكل 13 منحنى الخسارة الذي يعرض تقارب النموذج بالقرب من علامة المحاولة 1,000

يمكنك ملاحظة أنّ الخسارة تنخفض بشكل كبير خلال الجولات القليلة الأولى، ثم تنخفض تدريجيًا قبل أن تستقر عند علامة الجولة 1,000. بعد 1,000 تكرار، يمكننا التأكّد إلى حدٍ كبير من أنّ النموذج تقارب.

في الأشكال التالية، نرسم النموذج في ثلاث نقاط أثناء عملية التدريب: البداية والوسط والنهاية. من خلال عرض حالة النموذج في اللقطات أثناء عملية التدريب، يتم تعزيز الرابط بين تعديل الميول والأوزان وتقليل الخسارة وتقارب النموذج.

في الرسومات، نستخدم الأوزان والانحيازات المستمدة في تكرار معيّن ل represent the model. في الرسم البياني الذي يتضمّن نقاط البيانات وملخّص النموذج، يعرض خطوط الخسارة الزرقاء من النموذج إلى نقاط البيانات مقدار الخسارة. وكلما زاد طول الخطوط، زادت الخسارة.

في الشكل التالي، يمكننا أن نرى أنّه في غضون الجولة الثانية، لن يكون النموذج جيدًا في إجراء التوقّعات بسبب ارتفاع مقدار الخسارة.

الشكل 14 منحنى الخسارة ولقطة نموذج في بداية عملية التدريب

في الدورة 400 تقريبًا، يمكننا أن نرى أنّ طريقة التدرج التنازلي قد عثرت على المَعلمة والميول اللذَين ينتج عنهما نموذج أفضل.

الشكل 15 منحنى الخسارة ولقطة للنموذج في منتصف عملية التدريب تقريبًا

وفي الدورة 1,000 تقريبًا، يمكننا أن نرى أنّ النموذج قد تقارب، مما أدى إلى إنشاء نموذج يضمّ أدنى خسارة ممكنة.

الشكل 16 منحنى الخسارة ولقطة للنموذج بالقرب من نهاية عملية التدريب

تمرين: التحقّق من فهمك

ما هو دور خوارزمية انحدار التدرج في الانحدار الخطي؟

إنّ انحدار التدرج هو عملية تكرارية تعثر على أفضل معاملات الترجيح والانحياز التي تقلّل الخسارة.

يساعد "التدرّج التنازلي" في تحديد نوع الخسارة التي يجب استخدامها عند تدريب نموذج، على سبيل المثال، L₁ أو L₂.

لا تشارك خوارزمية انحدار التدرج في اختيار دالة الخسارة لتدريب النموذج.

تزيل طريقة التدرج التنازلي القيم الشاذة من مجموعة البيانات لمساعدة النموذج في إجراء تنبؤات أفضل.

لا يؤدي التدرّج إلى تغيير مجموعة البيانات.

الدوالّ المتقاربة والمحدّبة

تُنشئ دوالّ الخسارة للنماذج الخطية دائمًا سطحًا مقعرًا. نتيجةً لهذه الخاصية، عندما يتقارب نموذج الانحدار الخطي، نعرف أنّ النموذج عثر على الأوزان والانحياز اللذَين ينتجان أدنى خسارة.

إذا رسمنا سطح الخسارة لنموذج يتضمّن سمة واحدة، يمكننا الاطّلاع على شكله المنحني. في ما يلي سطح الخسارة لمجموعة بيانات عدد الأميال التي تقطعها السيارة الواحدة بالغالون المستخدَمة في الأمثلة السابقة. يظهر "الوزن" على المحور x، و"الانحياز" على المحور y، و"الخسارة" على المحور z:

الشكل 17: سطح الخسارة الذي يعرض شكله المحدّب

في هذا المثال، ينتج عن الوزن -5.44 والميل 35.94 أدنى خسارة عند 5.54:

الشكل 18 سطح الخسارة الذي يعرض قيم الوزن والانحياز التي تؤدي إلى تسجيل أدنى خسارة

يتقارب النموذج الخطي عند العثور على الحد الأدنى للخسارة. لذلك، لا تؤدي الخطوات الإضافية إلا إلى أن ينقل تدرج الدالة الناقصة قيم الوزن والانحياز بكميات صغيرة جدًا حول الحد الأدنى. إذا رسمنا نقاط الأوزان والانحياز أثناء التدرّج التنازلي، ستبدو النقاط مثل كرة تتدحرج من تلة، وتتوقّف أخيرًا عند النقطة التي لا يتوفّر فيها أي ميل تنازلي.

الشكل 19 رسم بياني للخسارة يعرض نقاط الانحدار التدرّجي التي تتوقف عند أدنى نقطة في الرسم البياني

لاحِظ أنّ نقاط الخسارة السوداء تنشئ الشكل الدقيق لمنحنى الخسارة: وهو هبوط حاد قبل الانحدار تدريجيًا إلى أن تصل إلى أدنى نقطة في سطح الخسارة.

من المهمّ ملاحظة أنّ النموذج لا يعثر تقريبًا على القيمة الحدّ الأدنى لكلّ وزن وانحراف، بل يعثر بدلاً من ذلك على قيمة قريبة جدًا منها. من المهم أيضًا ملاحظة أنّ الحدّ الأدنى للقيم المرجعية والقيم المرجعية لمعاكسات التشويش لا يمثّل الخسارة الصفرية، بل هو قيمة تحقّق أقل خسارة لهذه المَعلمة.

باستخدام قيم الوزن والانحياز التي تؤدي إلى تحقيق أدنى خسارة، في هذه الحالة، قيمة الوزن -5.44 وقيمة الانحياز 35.94، يمكننا إنشاء رسم بياني للنموذج لمعرفة مدى توافقه مع البيانات:

الشكل 20: نموذج تمّ رسمه بيانيًا باستخدام قيم الوزن والانحياز التي تحقّق أدنى خسارة

سيكون هذا هو أفضل نموذج لمجموعة البيانات هذه لأنّه لا توجد قيم أخرى للوزن والميل تؤدي إلى إنشاء نموذج بفقدان أقل.

المصطلحات الرئيسية:

• التقارب
• دالّة محدّبة
• النزول التدرّجي
• التكرار
• منحنى الخسارة

مركز المساعدة