ความแม่นยำ
ดูตัวเลือกด้านล่าง
สถานการณ์ใดต่อไปนี้ที่ค่าความแม่นยําสูงจะบ่งชี้ว่าโมเดล ML ทํางานได้ดี
ภาวะทางการแพทย์ที่ร้ายแรงแต่รักษาได้จะเป็นอันตรายต่อประชากร 0.01% โมเดล ML ใช้อาการเป็นฟีเจอร์และคาดการณ์ผลลัพธ์นี้โดยมีความแม่นยํา 99.99%
ความแม่นยําเป็นเมตริกที่แย่ในที่นี้ เพราะแม้แต่โมเดล "dumb" ที่คาดการณ์ " ไม่เจ็บป่วยได้เสมอ&ก็ยังมีความแม่นยํา 99.99%
การคาดคะเนอย่างผิดพลาด &การเสนอราคา ไม่เจ็บ&ใส่เครื่องหมายคําพูดสําหรับคนที่ป่วยจริงอาจเป็นความตาย
ไก่หุ่นยนต์ราคาแพงข้ามถนนอันพลุกพล่านวันละหลายพันครั้ง โมเดล ML จะประเมินรูปแบบการเข้าชมและคาดการณ์เวลาที่ไก่ตัวนี้สามารถข้ามถนนได้อย่างปลอดภัยโดยมีความแม่นยํา 99.99%
ค่า 99.99% ที่แม่นยําบนถนนที่มีคนพลุกพล่านมากบ่งบอกว่าโมเดล ML ดีกว่าความบังเอิญมาก อย่างไรก็ตาม ในการตั้งค่าบางอย่าง ค่าใช้จ่ายในการทําข้อผิดพลาดแม้เพียงเล็กน้อยจะยังสูงเกินไป
ความแม่นยํา 99.99% หมายความว่าจะต้องเปลี่ยนไก่ที่มีราคาแพงโดยเฉลี่ยทุกๆ 10 วัน (ไก่อาจทําให้รถยนต์ตกกระแทกอย่างมาก)
ในเกมรูเล็ต ลูกบอลจะถูกหมุนลงในวงล้อหมุน และในที่สุดก็เข้าสู่ช่องใดช่องหนึ่งจาก 38 ช่อง การใช้ฟีเจอร์ภาพ (การหมุนของลูกบอล ตําแหน่งของวงล้อเมื่อลูกบอลตก ความสูงของลูกบอลจากล้อ) โมเดล ML สามารถคาดการณ์ช่องโฆษณาที่จะได้ลูกบอลด้วยความแม่นยํา 4%
โมเดล ML นี้ช่วยให้การคาดการณ์ดีกว่าโอกาสไปมาก การคาดเดาแบบสุ่มจะถูกต้อง 1/38 ของเวลาทั้งหมด โดยมีความแม่นยํา 2.6%
แม้ว่าความแม่นยําจะเป็นแบบ "เท่านั้น" แต่ประโยชน์ของความสําเร็จจะสูงกว่าผลเสียของความล้มเหลวอยู่มาก
ความแม่นยำ
ดูตัวเลือกด้านล่าง
พิจารณาโมเดลการจัดประเภทที่แยกอีเมลเป็น 2 หมวดหมู่ ได้แก่
"spam" หรือ "ไม่ใช่สแปม" หากคุณเพิ่มเกณฑ์การจัดประเภท จะเกิดอะไรขึ้นกับความแม่นยํา
เพิ่มขึ้นอย่างแน่นอน
โดยทั่วไป การเพิ่มเกณฑ์การแยกประเภทจะเพิ่มความแม่นยํา แต่ไม่รับประกันว่าจะเพิ่มความแม่นยําแบบเดี่ยวๆ เมื่อเราเพิ่มเกณฑ์
อาจเพิ่มขึ้น
โดยทั่วไป การเพิ่มเกณฑ์การแยกประเภทจะช่วยลดความผิดพลาดที่เป็นเท็จ และเพิ่มความแม่นยํา
อาจลดลง
โดยทั่วไป การเพิ่มเกณฑ์การแยกประเภทจะช่วยลดความผิดพลาดที่เป็นเท็จ และเพิ่มความแม่นยํา
ลดลงแน่นอน
โดยทั่วไป การเพิ่มเกณฑ์การแยกประเภทจะช่วยลดความผิดพลาดที่เป็นเท็จ และเพิ่มความแม่นยํา
การจดจำ
ดูตัวเลือกด้านล่าง
พิจารณาโมเดลการจัดประเภทที่แยกอีเมลเป็น 2 หมวดหมู่ ได้แก่
"spam" หรือ "ไม่ใช่สแปม" หากคุณเพิ่มเกณฑ์การจัดประเภท จะเกิดอะไรขึ้น
เพิ่มขึ้นเสมอ
การเพิ่มเกณฑ์การจัดประเภทจะทําให้เป็น 2 สิ่งต่อไปนี้
- จํานวนผลบวกจริงจะลดลงหรือคงเดิม
- จํานวนผลบวกลวงจะเพิ่มขึ้นหรือคงเดิม
ลดอันดับหรือเท่าเดิมเสมอ
การเพิ่มเกณฑ์การแยกประเภทจะทําให้จํานวนผลบวกจริงลดลงหรือคงเท่าเดิม และจะทําให้จํานวนผลบวกลวงเพิ่มขึ้นหรือเท่าเดิม ดังนั้น การเรียกคืนจะยังคงอยู่หรือลดลง
แสดงผลสม่ําเสมอ
การเพิ่มเกณฑ์การแยกประเภทจะทําให้จํานวนผลบวกจริงลดลงหรือคงเท่าเดิม และจะทําให้จํานวนผลบวกลวงเพิ่มขึ้นหรือเท่าเดิม ดังนั้น การเรียกคืนจะยังคงอยู่หรือลดลง
ความแม่นยำและการจดจำ
ดูตัวเลือกด้านล่าง
ลองพิจารณาโมเดล 2 รูปแบบ ได้แก่ A และ B โดยแต่ละแบบจะประเมินชุดข้อมูลเดียวกัน
ข้อความใดต่อไปนี้เป็นจริง
หากโมเดล A มีความแม่นยํามากกว่าโมเดล B โมเดล A จะดีกว่า
แม้ว่าความแม่นยําจะดีแต่ก็อาจทําให้ค่าใช้จ่ายในการจดจําลดลงอย่างมาก โดยทั่วไป เราจะต้องดูทั้งความแม่นยําและความอ่อนไหวร่วมกัน หรือเมตริกสรุป เช่น AUC ที่เราจะพูดถึงถัดไป
หากโมเดล A มีการจําที่ดีกว่าโมเดล B โมเดล A จะดีกว่า
แม้ว่าการเรียกคืนที่ดีขึ้นจะดี แต่ก็เพราะอาจทําให้การลดความแม่นยําลดลง โดยทั่วไป เราจะต้องดูทั้งความแม่นยําและความอ่อนไหวร่วมกัน หรือเมตริกสรุป เช่น AUC ซึ่งเราจะพูดถึงถัดไป
หากโมเดล A มีความแม่นยํามากกว่าและจดจําได้ดีกว่าโมเดล B แสดงว่าโมเดล A น่าจะดีกว่า
โดยทั่วไป โมเดลที่มีประสิทธิภาพสูงกว่าโมเดลอื่นทั้งในความแม่นยําและการจดจํามีแนวโน้มที่จะเป็นโมเดลที่ดีกว่า แน่นอนว่าเราจะต้องเปรียบเทียบจุดวัดความถูกต้องแม่นยํา / ความอ่อนไหวซึ่งเป็นประโยชน์ในทางปฏิบัติ เช่น สมมติว่าโมเดลการตรวจจับสแปมของเราต้องมีความแม่นยําอย่างน้อย 90% จึงจะมีประโยชน์และหลีกเลี่ยงสัญญาณเตือนที่ผิดพลาดซึ่งไม่จําเป็น ในกรณีนี้ การเปรียบเทียบ
รูปแบบหนึ่งที่ {20% ความแม่นยํา, 99%} กับอีกรูปแบบหนึ่งที่ {ความแม่นยํา 15%, การจํา 98%} ไม่ได้เจาะจงเป็นพิเศษ เนื่องจากทั้ง 2 รุ่นไม่เป็นไปตามข้อกําหนดความถูกต้องแม่นยํา 90% แต่อย่าลืมคํานึงถึงเรื่องนี้ด้วย ซึ่งเป็นวิธีที่ดีเมื่อเปรียบเทียบการเปรียบเทียบโมเดลเมื่อใช้ความแม่นยําและการจดจํา