انحدار لوجستي

بدلاً من توقّع 0 1 أو 1 بالضبط، يؤدي الانحدار اللوجستي إلى احتمالية، أي قيمة بين 0 و1، حصرية. على سبيل المثال، جرِّب نموذج الانحدار اللوجستي لرصد المحتوى غير المرغوب فيه. إذا استنتج النموذج قيمة 0.932 في رسالة إلكترونية معيّنة، يعني ذلك أن هناك احتمال% 93.2 أن تكون الرسالة الإلكترونية غير مرغوب فيها. وبعبارة أكثر دقة، يعني ذلك أنه في حدود أمثلة التدريب اللانهائي، فإن مجموعة الأمثلة التي يتوقع النموذج أن تكون 0.932 هي في الواقع محتوى غير مرغوب فيه 93.2% من الوقت والنسبة المتبقية المتبقية 6.8%.

انحدار لوجستي

  • تخيَّل مشكلة التنبؤ باحتمالية عملات العملات المعدنية
  • يمكنك استخدام ميزات مثل زاوية المنحنى وقطعة النقود المعدنية وما إلى ذلك.
  • ما هو أبسط نموذج يمكنك استخدامه؟
  • ما المواقف الغريبة التي قد تحصل؟
عملتان مقوستان
  • يتطلب العديد من المشاكل تقدير الاحتمال كإخراج
  • إدخال الانحدار اللوجستي
  • يتطلب العديد من المشاكل تقدير الاحتمال كإخراج
  • إدخال الانحدار اللوجستي
  • مفيدة لأنه يتم معايرة تقديرات الاحتمالية
    • على سبيل المثال، p(بيت سيتم بيعه) * السعر = النتيجة المتوقَّعة
  • يتطلب العديد من المشاكل تقدير الاحتمال كإخراج
  • إدخال الانحدار اللوجستي
  • مفيدة لأنه يتم معايرة تقديرات الاحتمالية
    • على سبيل المثال، p(بيت سيتم بيعه) * السعر = النتيجة المتوقَّعة
  • وتكون مفيدة أيضًا عندما نحتاج إلى تصنيف ثنائي
    • هل هذه رسالة غير مرغوب فيها أم لا؟ → p(الرسائل غير المرغوب فيها)

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)

رسم بياني لمعادلة الانحدار اللوجستي

$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

رسمان بيانيان لخسارة اللوغاريتم مقابل القيمة المتوقعة: رسم بياني لقيمة مستهدفة قدرها 0.0 (ما يؤدي إلى قوسَين ولأعلى) والآخر لقيمة مستهدفة تبلغ 1.0 (ما يؤدي إلى قوسَين وإلى اليسار)
  • يمثّل التنظيم عاملاً مهمًا في تراجع التراجع اللوجستي.
    • تذكُّر العبارتين
    • غير ذلك، سيستمر في محاولة تقليل الخسارة إلى 0 في الأبعاد العالية.
  • يمثّل التنظيم عاملاً مهمًا في تراجع التراجع اللوجستي.
    • تذكُّر العبارتين
    • غير ذلك، سيستمر في محاولة تقليل الخسارة إلى 0 في الأبعاد العالية.
  • هناك استراتيجيتان مفيدتان على وجه الخصوص:
    • تسوية L2 (المعروفة أيضًا باسم تناقص الوزنL) - تفرض عقوبات كبيرة.
    • التوقّف مبكرًا: الحدّ من خطوات التدريب أو معدّل التعلّم
  • التراجع اللوجستي الخطي فعّال للغاية.
    • أوقات التدريب والتوقعات سريعة جدًا.
    • تستخدم النماذج القصيرة / العريضة مساحة كبيرة من ذاكرة الوصول العشوائي.