ROC و AUC
گزینه های زیر را بررسی کنید.
کدام یک از منحنی های ROC زیر مقادیر AUC را بیشتر از 0.5 تولید می کند؟
این بهترین منحنی ROC ممکن است، زیرا همه موارد مثبت را بالاتر از همه منفی ها قرار می دهد. دارای AUC 1.0 است.
در عمل، اگر یک طبقه‌بندی‌کننده «کامل» با AUC 1.0 دارید، باید مشکوک باشید، زیرا احتمالاً نشان‌دهنده یک اشکال در مدل شما است. به عنوان مثال، ممکن است به داده های آموزشی خود بیش از حد تناسب داشته باشید، یا ممکن است داده های برچسب در یکی از ویژگی های شما تکرار شوند.
این بدترین منحنی ROC ممکن است. همه موارد منفی را بالاتر از همه موارد مثبت قرار می دهد و دارای AUC 0.0 است. اگر بخواهید هر پیش‌بینی را معکوس کنید (مثبت‌ها را به مثبت و مثبت را به منفی برگردانید)، در واقع یک طبقه‌بندی عالی خواهید داشت!
این منحنی ROC دارای AUC 0.5 است، به این معنی که یک مثال مثبت تصادفی را بالاتر از یک مثال منفی تصادفی در 50٪ مواقع رتبه بندی می کند. به این ترتیب، مدل طبقه بندی مربوطه اساساً بی ارزش است، زیرا توانایی پیش بینی آن بهتر از حدس زدن تصادفی نیست.
این منحنی ROC دارای AUC بین 0.5 و 1.0 است، به این معنی که یک مثال مثبت تصادفی را در بیش از 50٪ مواقع بالاتر از یک مثال منفی تصادفی قرار می دهد. مقادیر AUC طبقه بندی باینری دنیای واقعی معمولاً در این محدوده قرار می گیرند.
این منحنی ROC دارای AUC بین 0 و 0.5 است، به این معنی که یک مثال مثبت تصادفی را در کمتر از 50٪ مواقع بالاتر از یک مثال منفی تصادفی قرار می دهد. مدل مربوطه در واقع بدتر از حدس زدن تصادفی عمل می کند! اگر منحنی ROC مانند این را می بینید، احتمالاً نشان می دهد که یک اشکال در داده های شما وجود دارد.
AUC و پیش بینی های مقیاس بندی
گزینه های زیر را بررسی کنید.
چگونه همه پیش‌بینی‌های یک مدل داده شده در 2.0 ضرب می‌شود (به عنوان مثال، اگر مدل 0.4 را پیش‌بینی می‌کند، ما در 2.0 ضرب می‌کنیم تا پیش‌بینی 0.8 را به دست آوریم) عملکرد مدل را با اندازه‌گیری AUC تغییر می‌دهد؟
بدون تغییر. AUC فقط به نمرات پیش بینی نسبی اهمیت می دهد.
بله، AUC بر اساس پیش‌بینی‌های نسبی است، بنابراین هر تغییری در پیش‌بینی‌ها که رتبه‌بندی نسبی را حفظ کند، تأثیری بر AUC ندارد. این به وضوح در مورد سایر معیارها مانند خطای مربع، از دست دادن گزارش، یا سوگیری پیش بینی (که بعداً بحث خواهد شد) صادق نیست.
این AUC را وحشتناک می‌کند، زیرا مقادیر پیش‌بینی در حال حاضر بسیار پایین است.
به اندازه کافی جالب توجه است، حتی اگر مقادیر پیش‌بینی متفاوت باشند (و احتمالاً دورتر از حقیقت هستند)، ضرب همه آنها در 2.0 ترتیب نسبی مقادیر پیش‌بینی را یکسان نگه می‌دارد. از آنجایی که AUC فقط به رتبه‌بندی نسبی اهمیت می‌دهد، تحت تأثیر مقیاس‌بندی ساده پیش‌بینی‌ها قرار نمی‌گیرد.
این AUC را بهتر می کند، زیرا مقادیر پیش بینی همه از هم دورتر هستند.
مقدار اسپرد بین پیش بینی ها در واقع بر AUC تأثیر نمی گذارد. حتی یک امتیاز پیش‌بینی برای یک مثبت واقعی به‌طور تصادفی تنها یک اپسیلون کوچک بزرگ‌تر از یک منفی تصادفی است، که به‌عنوان موفقیتی به حساب می‌آید که به نمره کلی AUC کمک می‌کند.