التصنيف: الدقة والتذكّر

الوقت المقدّر: 9 دقائق

مسابقة دقة التصويب

يحاول الدقة الإجابة عن السؤال التالي:

ما هي نسبة عمليات التعريف الإيجابية؟

ويتم تحديد الدقة على النحو التالي:

$$\text{Precision} = \frac{TP}{TP+FP}$$

ملاحظة: إنّ النموذج الذي لا ينتج عنه أي نتائج موجبة خاطئ بدقة 1.0.

لنتعرّف على دقة نموذج تعلُّم الآلة من القسم السابق الذي يحلّل الأورام:

الإيجابيات الحقيقية (TP): 1	الإيجابيات الخاطئة (FP): 1
النتائج السلبية الخاطئة (FNs): 8	السلبيات السلبية (TN): 90

$$\text{Precision} = \frac{TP}{TP+FP} = \frac{1}{1+1} = 0.5$$

يتميز هذا النموذج بدقة 0.5 - بعبارة أخرى، عندما يتنبأ الورم بأنه خبيث، يكون الصحة صحيحًا بنسبة 50% من الوقت.

التذكُّر

يحاول استرداد الإجابة عن السؤال التالي:

ما هي النسبة الإيجابية الإيجابية التي تم تحديدها؟

رياضيًا، يتم تعريف التذكّر على النحو التالي:

$$\text{Recall} = \frac{TP}{TP+FN}$$

ملاحظة: النموذج الذي لا ينتج عنه أي عناصر سلبية كاذبة تذكّر القيمة 1.0.

لنحسب التذكّر لمصنِّف الورم:

الإيجابيات الحقيقية (TP): 1	الإيجابيات الخاطئة (FP): 1
النتائج السلبية الخاطئة (FNs): 8	السلبيات السلبية (TN): 90

$$\text{Recall} = \frac{TP}{TP+FN} = \frac{1}{1+8} = 0.11$$

يحتوي نموذجنا على 0.11 باختصار، أي أنه يحدّد بشكل صحيح نسبة 11% من جميع الأورام الخبيثة.

الدقة والتذكُّر: أحداث الحرب

لتقييم فعالية أحد النماذج بالكامل، يجب عليك فحص كلٍّ من الدقّة وتذكّر النموذج. للأسف، غالبًا ما تكون الدقّة والقدرة على التذكّر هي مصدر توتر. أي أنّ تحسين الدقة يقلّل عادةً من تذكّر العملاء والعكس صحيح. استكشِف هذه الفكرة من خلال الاطّلاع على الشكل التالي الذي يعرض 30 توقّعًا تم تقديمه من خلال نموذج تصنيف عبر البريد الإلكتروني. تُصنَّف العناصر على يسار الحدّ الأدنى للتصنيف على أنها &"quot&spam&quot,"أما على اليمين، في حين يتم تصنيفها على أنّها "غير مرغوب فيها".

الشكل 1. تصنيف الرسائل الإلكترونية كرسائل غير مرغوب فيها أو ليست رسائل غير مرغوب فيها

نحسب الدقة والتذكّر استنادًا إلى النتائج المعروضة في الشكل 1:

الإيجابيات الحقيقية (TP): 8	الإيجابيات الخاطئة (FP): 2
النتائج السلبية الخاطئة (FN): 3	المعايير السلبية (TN): 17

يقيس الدقة النسبة المئوية للرسائل الإلكترونية التي تم وضع علامة عليها كرسائل غير مرغوب فيها التي تم تصنيفها بشكل صحيح، أي النسبة المئوية للنقاط على يسار سطر الحدّ الذي يظهر باللون الأخضر في الشكل 1:

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{8}{8+2} = 0.8$$

يقيس الاسترجاع النسبة المئوية للرسائل الإلكترونية الفعلية غير المرغوب فيها التي تم تصنيفها بشكل صحيح، أي النسبة المئوية للنقاط الخضراء التي تقع على يسار سطر الحد في الشكل 1:

$$\text{Recall} = \frac{TP}{TP + FN} = \frac{8}{8 + 3} = 0.73$$

يوضّح الشكل 2 تأثير زيادة حدّ التصنيف.

الشكل 2. زيادة الحدّ الأدنى للتصنيف

ينخفض عدد الحالات الموجبة الخاطئة، ولكن يزداد عدد النتائج السلبية الخاطئة. ونتيجةً لذلك، ترتفع الدقة، بينما ينخفض مستوى التذكّر:

الإيجابيات الحقيقية (TP): 7	الإيجابيات الخاطئة (FP): 1
النتائج السلبية الخاطئة (FN): 4	صحيح سلبي (TN): 18

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{7}{7+1} = 0.88$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{7}{7 + 4} = 0.64$$

في المقابل، يوضّح الشكل 3 تأثير تقليل حد التصنيف (من الموضع الأصلي في الشكل 1).

الشكل 3. جارٍ تقليل حدّ التصنيف.

وتزيد حالات موجبة خاطئة، وتتقلّب السلبيات الخاطئة. ونتيجةً لذلك، تنخفض الدقة هذه الوقت وتزيد التذكُّر:

الإيجابيات الحقيقية (TP): 9	الإيجابيات الخاطئة (FP): 3
النتائج السلبية الخاطئة (FN): 2	صحيح سلبي (TN): 16

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{9}{9+3} = 0.75$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{9}{9 + 2} = 0.82$$

وقد تم تطوير العديد من المقاييس التي تعتمد على كلٍّ من الدقة والتذكّر. على سبيل المثال، يمكنك الاطّلاع على نتيجة F1.

 

البنود الرئيسية

الدقة

الاسترداد

مركز المساعدة