การจัดประเภท: ความแม่นยําและความอ่อนไหว

เวลาโดยประมาณ: 9 นาที

ความแม่นยำ

ความแม่นยําพยายามตอบคําถามต่อไปนี้

สัดส่วนที่แท้จริงของการระบุเชิงบวกคืออะไร

ความแม่นยํามีคําจํากัดความดังต่อไปนี้

$$\text{Precision} = \frac{TP}{TP+FP}$$

หมายเหตุ: โมเดลที่ไม่สร้างผลบวกลวงจะมีความแม่นยํา 1.0

มาคํานวณความแม่นยําสําหรับโมเดล ML จากส่วนก่อนหน้านี้ที่วิเคราะห์เนื้องอกกัน

ผลบวกจริง (TP): 1	False Positives (FPS): 1
คีย์เวิร์ดเชิงลบปลอม (FN): 8	ผลลบจริง (TN): 90

$$\text{Precision} = \frac{TP}{TP+FP} = \frac{1}{1+1} = 0.5$$

โมเดลของเรามีความแม่นยํา 0.5 กล่าวคือเมื่อคาดการณ์ว่าเนื้องอกจะผิดหวัง จะได้ที่ถูกต้อง 50% ของเวลาทั้งหมด

การจดจำ

การเรียกคืนจะพยายามตอบคําถามต่อไปนี้

ระบุจํานวนบวกที่แท้จริงได้ถูกต้องแค่ไหน

ในทางคณิตศาสตร์ การเรียกคืนหมายถึงดังนี้

$$\text{Recall} = \frac{TP}{TP+FN}$$

หมายเหตุ: โมเดลที่ไม่สร้างผลลบลวงมีการจํา 1.0

มาคํานวณการเรียกคืนตัวแยกประเภทเนื้องอกของเรากัน

ผลบวกจริง (TP): 1	False Positives (FPS): 1
คีย์เวิร์ดเชิงลบปลอม (FN): 8	ผลลบจริง (TN): 90

$$\text{Recall} = \frac{TP}{TP+FN} = \frac{1}{1+8} = 0.11$$

โมเดลของเรามีความอ่อนไหว 0.11 หรืออีกนัยหนึ่งคือ ค่านี้ระบุ 11% ของเนื้องอกที่เป็นอันตรายทั้งหมดอย่างถูกต้อง

ความแม่นยําและความอ่อนไหว: สงครามลากจูง

หากต้องการประเมินประสิทธิภาพของโมเดลอย่างเต็มรูปแบบ คุณต้องตรวจสอบทั้งความแม่นยําและการเรียกคืน แต่ขออภัยที่ต้องแจ้งให้ทราบว่าความแม่นยําและ ความจําเพียงพอ กล่าวคือ การปรับปรุงความแม่นยํามักช่วยลดการเรียกคืนและในทางกลับกันด้วย สํารวจแนวคิดนี้โดยดูที่ตัวเลขต่อไปนี้ ซึ่งจะแสดงการคาดคะเน 30 ข้อที่สร้างโดยโมเดลการจัดประเภทอีเมล รายการที่อยู่ทางด้านขวาของเกณฑ์การจัดประเภทจะได้รับการจัดประเภทเป็น "สแปม" ส่วนทางด้านซ้ายจะจัดประเภทเป็น "ไม่ใช่จดหมายขยะ"

รูปที่ 1 การจัดประเภทข้อความอีเมลว่าเป็นจดหมายขยะหรือไม่ใช่จดหมายขยะ

มาคํานวณความแม่นยําและความอ่อนไหวโดยพิจารณาจากผลลัพธ์ที่แสดงในรูปที่ 1

ผลบวกจริง (TP): 8	False Positives (FP): 2
คีย์เวิร์ดเชิงลบปลอม (FN): 3	ผลลบจริง (TN): 17

ความแม่นยําจะวัดเปอร์เซ็นต์ของอีเมลที่แจ้งว่าเป็นสแปมซึ่งได้รับการจัดประเภทอย่างถูกต้อง กล่าวคือ เปอร์เซ็นต์ของจุดทางด้านขวาของเส้นเกณฑ์ที่เป็นสีเขียวในรูปที่ 1

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{8}{8+2} = 0.8$$

การจําได้จะวัดเปอร์เซ็นต์ของอีเมลสแปมจริงที่ได้รับการจัดประเภทอย่างถูกต้อง ซึ่งก็คือเปอร์เซ็นต์ของจุดสีเขียวที่อยู่ด้านขวาของเส้นเกณฑ์ในรูปที่ 1

$$\text{Recall} = \frac{TP}{TP + FN} = \frac{8}{8 + 3} = 0.73$$

รูปที่ 2 แสดงภาพผลกระทบของการเพิ่มเกณฑ์การจัดประเภท

รูปที่ 2 การเพิ่มเกณฑ์การแยกประเภท

จํานวนผลบวกลวงจะลดลง แต่ผลลบลวงเพิ่มขึ้น ผลที่ได้คือ ความแม่นยําจะเพิ่มขึ้น ขณะที่การเรียกคืนจะลดลง

ผลบวกจริง (TP): 7	False Positives (FP): 1
คีย์เวิร์ดเชิงลบปลอม (FN): 4	คีย์เวิร์ดเชิงลบจริง (TN): 18

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{7}{7+1} = 0.88$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{7}{7 + 4} = 0.64$$

ในทางกลับกัน รูปที่ 3 แสดงภาพผลกระทบของการลดเกณฑ์การแยกประเภท (จากตําแหน่งเดิมในรูปที่ 1)

รูปที่ 3 การลดเกณฑ์การแยกประเภท

การตรวจพบที่ผิดพลาดที่เพิ่มขึ้นและผลลบลวงจะลดลง ดังนั้น ในครั้งนี้ ความแม่นยําจะลดลงและการจดจําจะเพิ่มขึ้น ดังนี้

ผลบวกจริง (TP): 9	False Positives (FP): 3
คีย์เวิร์ดเชิงลบปลอม (FN): 2	ผลลบจริง (TN): 16

$$\text{Precision} = \frac{TP}{TP + FP} = \frac{9}{9+3} = 0.75$$ $$\text{Recall} = \frac{TP}{TP + FN} = \frac{9}{9 + 2} = 0.82$$

เมตริกต่างๆ ได้รับการพัฒนาขึ้นโดยอิงจากความแม่นยําและการจดจํา ตัวอย่างเช่น โปรดดูคะแนน F1

 

คําสําคัญ

ความแม่นยํา

เรียกคืน

ศูนย์ช่วยเหลือ