رگرسیون لجستیک

به جای پیش بینی دقیق 0 یا 1، رگرسیون لجستیک یک احتمال ایجاد می کند - مقداری بین 0 و 1، منحصر به فرد. به عنوان مثال، یک مدل رگرسیون لجستیک برای تشخیص هرزنامه در نظر بگیرید. اگر مدل مقدار 0.932 را در یک پیام ایمیل خاص استنباط کند، به احتمال 93.2٪ نشان می دهد که پیام ایمیل هرزنامه است. به طور دقیق تر، به این معنی است که در حد بی نهایت مثال های آموزشی، مجموعه نمونه هایی که مدل برای آنها 0.932 پیش بینی می کند، در واقع در 93.2٪ مواقع اسپم خواهد بود و 6.8٪ باقیمانده نخواهد بود.

رگرسیون لجستیک

  • مشکل پیش بینی احتمال سر برای سکه های خم شده را تصور کنید
  • ممکن است از ویژگی هایی مانند زاویه خم، جرم سکه و غیره استفاده کنید.
  • ساده ترین مدلی که می توانید استفاده کنید چیست؟
  • چه چیزی می تواند اشتباه باشد؟
2 سکه خم شده
  • بسیاری از مسائل نیاز به برآورد احتمال به عنوان خروجی دارند
  • رگرسیون لجستیک را وارد کنید
  • بسیاری از مسائل نیاز به برآورد احتمال به عنوان خروجی دارند
  • رگرسیون لجستیک را وارد کنید
  • مفید است زیرا تخمین های احتمال کالیبره شده اند
    • به عنوان مثال، p (خانه به فروش خواهد رسید) * قیمت = نتیجه مورد انتظار
  • بسیاری از مسائل نیاز به برآورد احتمال به عنوان خروجی دارند
  • رگرسیون لجستیک را وارد کنید
  • مفید است زیرا تخمین های احتمال کالیبره شده اند
    • به عنوان مثال، p (خانه به فروش خواهد رسید) * قیمت = نتیجه مورد انتظار
  • همچنین برای زمانی که به طبقه بندی باینری نیاز داریم مفید است
    • هرزنامه یا اسپم نیست؟ → p (هرزنامه)

رگرسیون لجستیک -- پیش بینی ها

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Where:} \)\(x\text{: Provides the familiar linear model}\)\(1+e^{-(...)}\text{: Squish through a sigmoid}\)

نمودار معادله لجستیک-رگرسیون

$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

دو نمودار از Log Loss در مقابل مقدار پیش‌بینی‌شده: یکی برای مقدار هدف 0.0 (که به سمت بالا و سمت راست کمان می‌شود) و دیگری برای مقدار هدف 1.0 (که کمان به سمت پایین و سمت چپ است)
  • منظم سازی برای رگرسیون لجستیک بسیار مهم است.
    • مجانبی را به خاطر بسپارید
    • به تلاش برای رساندن ضرر به 0 در ابعاد بالا ادامه خواهد داد
  • منظم سازی برای رگرسیون لجستیک بسیار مهم است.
    • مجانبی را به خاطر بسپارید
    • به تلاش برای رساندن ضرر به 0 در ابعاد بالا ادامه خواهد داد
  • دو استراتژی به ویژه مفید هستند:
    • تنظیم L 2 (معروف به کاهش وزن L 2 ) - وزنه های بزرگ را جریمه می کند.
    • توقف زودهنگام - محدود کردن مراحل آموزشی یا میزان یادگیری.
  • رگرسیون لجستیک خطی بسیار کارآمد است.
    • زمان های آموزش و پیش بینی بسیار سریع.
    • مدل های کوتاه / عریض از رم زیادی استفاده می کنند.
قبلی
درک خود را بررسی کنید
بعدی
محاسبه یک احتمال