رگرسیون لجستیک: از دست دادن و منظم شدن

مدل‌های رگرسیون لجستیک با استفاده از فرآیند مشابه مدل‌های رگرسیون خطی با دو تمایز کلیدی آموزش داده می‌شوند:

• مدل های رگرسیون لجستیک از Log Loss به عنوان تابع ضرر به جای تلفات مربع استفاده می کنند.
• اعمال منظم برای جلوگیری از برازش بیش از حد ضروری است.

بخش های بعدی این دو ملاحظات را عمیق تر مورد بحث قرار می دهد.

از دست دادن گزارش

در ماژول رگرسیون خطی ، از تلفات مربعی (که از دست دادن L ₂ نیز نامیده می شود) به عنوان تابع ضرر استفاده کردید. تلفات مربعی برای یک مدل خطی که در آن نرخ تغییر مقادیر خروجی ثابت است به خوبی کار می کند. به عنوان مثال، با توجه به مدل خطی $y' = b + 3x_1$، هر بار که مقدار ورودی $x_1$ را 1 افزایش می دهید، مقدار خروجی $y'$ 3 افزایش می یابد.

با این حال، نرخ تغییر یک مدل رگرسیون لجستیک ثابت نیست . همانطور که در محاسبه یک احتمال دیدید، منحنی سیگموئید به جای خطی، s شکل است. وقتی مقدار log-odds ($z$) به 0 نزدیک‌تر است، افزایش‌های کوچک در $z$ منجر به تغییرات بسیار بزرگ‌تری به $y$ می‌شود تا زمانی که $z$ یک عدد مثبت یا منفی بزرگ است. جدول زیر خروجی تابع سیگموئید را برای مقادیر ورودی از 5 تا 10 و همچنین دقت متناظر مورد نیاز برای ثبت تفاوت در نتایج را نشان می دهد.

ورودی	خروجی لجستیک	ارقام مورد نیاز دقت
5	0.993	3
6	0.997	3
7	0.999	3
8	0.9997	4
9	0.9999	4
10	0.99998	5

اگر از مجذور تلفات برای محاسبه خطاها برای تابع سیگموئید استفاده می‌کردید، چون خروجی به 0 و 1 نزدیک‌تر و نزدیک‌تر می‌شد، برای حفظ دقت لازم برای ردیابی این مقادیر به حافظه بیشتری نیاز دارید.

در عوض، تابع ضرر برای رگرسیون لجستیک Log Loss است. معادله Log Loss لگاریتم بزرگی تغییر را به جای فاصله بین داده تا پیش‌بینی برمی‌گرداند. Log Los به صورت زیر محاسبه می شود:

$\text{Log Loss} = -\frac{1}{N}\sum_{i=1}^{N} y_i\log(y_i') + (1 - y_i)\log(1 - y_i')$