تقليل الخسارة: انحدار التدرج

الوقت المقدّر: 10 دقائق

يحتوي مخطط النهج التكراري (الشكل 1) على مربع أخضر متموج يدويًا بعنوان "تحديثات معلَمات الحوسبة". سنستبدل الآن هذا الغبار السحري بشيء أكثر أهمية.

لنفترض أن لدينا الوقت وموارد الحوسبة لحساب الخسارة لجميع القيم المحتملة لـ \(w_1\). بالنسبة إلى مشكلات الانحدار التي كنا نفحصها، فإن مخطط الخسارة الناتج مقابل \(w_1\) سيكون دائمًا محدبًا. بمعنى آخر، سيكون المخطط دائمًا على شكل وعاء، نوعًا ما على النحو التالي:

الشكل 2. ينتج عن مسائل الانحدار خسارة محدبة مقارنةً بمخططات الوزن.

 

فالمسائل المحدبة لها حد أدنى واحد فقط؛ أي مكان واحد فقط يكون فيه الميل 0 بالضبط. هذا الحد الأدنى هو المكان الذي تلتقي فيه دالة الخسارة.

سيكون حساب دالة الخسارة لكل قيمة يمكن تصورها لـ \(w_1\) على مجموعة البيانات بالكامل طريقة غير فعّالة للعثور على نقطة التقارب. لنفحص آلية أفضل - شائعة جدًا في التعلم الآلي - تسمى خوارزمية انحدار التدرج.

المرحلة الأولى في خوارزمية انحدار التدرج هي اختيار قيمة بداية (نقطة بداية) للسمة \(w_1\). ليس لنقطة البداية أي أهمية؛ لذلك، تقوم العديد من الخوارزميات ببساطة بضبط \(w_1\) على 0 أو اختيار قيمة عشوائية. يوضح الشكل التالي أننا اخترنا نقطة بداية أكبر بقليل من 0:

الشكل 3. نقطة بداية انحدار التدرج.

بعد ذلك، تحسب خوارزمية انحدار التدرج تدرج منحنى الخسارة عند نقطة البداية. في الشكل 3، يساوي تدرج الخسارة المشتق (الانحدار) في المنحنى، ويوضح لك الطريقة "الأكثر حرارة" أو "اللحام". عندما تكون هناك ترجيحات متعددة، يكون التدرج متجهًا للمشتقات الجزئية بالنسبة إلى الأوزان.

انقر على رمز علامة الجمع لمعرفة المزيد عن المشتقات الجزئية والتدرجات.

الرياضيات المتعلقة بالتعلم الآلي رائعة ويسعدنا أنك نقرت على الرابط للحصول على مزيد من المعلومات. تجدر الإشارة إلى أنّ TensorFlow يعالج كل عمليات حسابية التدرج من أجلك، وبالتالي لن تحتاج إلى استيعاب حساب التفاضل والتكامل المتوفر هنا.

المشتقات الجزئية

الدالة متعددة المتغيرات هي دالة تضم أكثر من وسيطة واحدة، مثل:

$$f(x,y) = e^{2y}\sin(x)$$

المشتق الجزئي \(f\) المرتبط بـ \(x\)، يُرمز إليه على النحو التالي:

$$ \partial f \over \partial x $$

هي مشتقّ \(f\) التي تُعتبر دالة \(x\) ذاتها. للعثور على ما يلي:

$$\partial f \over \partial x $$

يجب أن تكون ثابتًا \(y\) (لذا \(f\) أصبح الآن دالة متغيّر واحد \(x\))، وتأخذ المشتق العادي لـ \(f\) في ما يتعلق بـ \(x\). على سبيل المثال، عندما يتم تثبيت \(y\) عند 1، تصبح الدالة السابقة:

$$ f(x) = e^2\sin(x) $$

هذه مجرد دالة لمتغير واحد \(x\)، والمشتق:

$$ e^2\cos(x) $$

بشكل عام، عند النظر إلى \(y\) على أنّه ثابت، يتم احتساب المشتق الجزئي لـ \(f\) مع مراعاة \(x\) على النحو التالي:

$$\frac{\partial f}{\partial x}(x,y) = e^{2y}\cos(x)$$

وبالمثل، إذا تم تثبيت \(x\) بدلاً من ذلك، تكون المشتق الجزئي لـ \(f\) مع مراعاة \(y\) هو:

$$ \frac{\partial f}{\partial y}(x,y) = 2e^{2y}\sin(x) $$

ومن البديهي أن المشتق الجزئي يخبرك بمدى تغير الدالة عندما ترتبط متغيرًا واحدًا قليلاً. في المثال السابق:

$$ \frac{\partial f}{\partial x} (0,1) = e^2 \approx 7.4 $$

لذلك، عندما تبدأ من \((0,1)\)، ابقَ \(y\) ثابتًا وتحرّك \(x\) قليلاً، \(f\) يتغير بمقدار 7.4 أضعاف مقدار التغيير الذي أجريته \(x\).

في التعلم الآلي، تُستخدم المشتقات الجزئية غالبًا بالاقتران مع تدرج الدالة.

التدرجات

تدرج الدالة، والمشار إليه على النحو التالي، هو خط متجه المشتقات الجزئية بالنسبة إلى جميع المتغيرات المستقلة:

$$ \nabla f $$

على سبيل المثال، إذا:

$$ f(x,y) = e^{2y}\sin(x) $$

بعد ذلك:

$$\nabla f(x,y) = \left(\frac{\partial f}{\partial x}(x,y), \frac{\partial f}{\partial y}(x,y)\right) = (e^{2y}\cos(x), 2e^{2y}\sin(x))$$

لاحظ ما يلي:

$$\nabla f$$	يشير ذلك المصطلح إلى النقاط في اتجاه الزيادة الأكبر للدالة.
$$ {-\nabla f} $$	النقاط في اتجاه أكبر انخفاض في الدالة.

عدد الأبعاد في المتجه يساوي عدد المتغيرات في معادلة \(f\)؛ بمعنى آخر، يقع المتجه ضمن مساحة مجال الدالة. على سبيل المثال، الرسم البياني للدالة التالية \(f(x,y)\):

$$ f(x,y) = 4 + (x - 2)^2 + 2y^2 $$

عند عرضها في ثلاثة أبعاد مع \(z = f(x,y)\) أنها شكل وادٍ بحد أدنى \((2,0,4)\):

تدرج \(f(x,y)\) هو متجه ثنائي الأبعاد يخبرك\((x,y)\) الاتجاه الذي يجب التحرك به للوصول إلى أقصى زيادة في الارتفاع. ومن ثم، يتحركك اللون السالب للتدرج في اتجاه الحد الأقصى للانخفاض في الارتفاع. بمعنى آخر، يشير الخط السالب لمتجه التدرج إلى الوادي.

وفي التعلم الآلي، تُستخدم التدرجات في خوارزمية انحدار التدرج. غالبًا ما يكون لدينا دالة خسارة للعديد من المتغيرات التي نحاول تقليلها، ونحاول القيام بذلك عن طريق اتباع القيمة السالبة لتدرج الدالة.

تجدر الإشارة إلى أن التدرج هو متجه، ولذلك فهو يضم السمتين التاليتين:

• اتجاه
• مقدار

ويشير التدرج دائمًا إلى اتجاه الزيادة الأكثر شدة في دالة الخسارة. تتخذ خوارزمية انحدار التدرج خطوة في اتجاه التدرج السالب لتقليل الخسارة بأسرع ما يمكن.

الشكل 4. ويعتمد انحدار التدرج على التدرجات السالبة.

لتحديد النقطة التالية على طول منحنى دالة الخسارة، تضيف خوارزمية انحدار التدرج جزءًا من حجم التدرج إلى نقطة البداية كما هو موضح في الشكل التالي:

الشكل 5. وتنقلنا خطوة التدرج إلى النقطة التالية في منحنى الخسارة.

ومن ثم يكرر انحدار التدرج هذه العملية، بحيث يقترب أكثر من الحد الأدنى.

ملاحظة: عند إجراء خوارزمية انحدار التدرج، نُعمِّم العملية السابقة لضبط كل معلَمات النموذج في آن واحد. على سبيل المثال، للعثور على القيم المثلى لكل من \(w_1\) والتحيز \(b\)، نحسب التدرجات مع مراعاة كل من \(w_1\) و \(b\). بعد ذلك، نُعدِّل قيمتي \(w_1\)و \(b\) بناءً على التدرجات الخاصة بها. ثم نكرر هذه الخطوات حتى نصل إلى الحد الأدنى من الخسارة.

المصطلحات الرئيسية

خوارزمية انحدار التدرج

الخطوة

مركز المساعدة