Chính xác
Độ chính xác cố gắng trả lời câu hỏi sau:
Tỷ lệ xác định tích cực thực sự chính xác là bao nhiêu?
Độ chính xác được xác định như sau:
Hãy tính chính xác mô hình máy học của chúng tôi trong phần trước về việc phân tích khối u:
| Tích cực thực (TP): 1 | Cảnh báo nhầm (FPs): 1 |
| Phủ định sai (FN): 8 | Đúng phủ định (TN): 90 |
Mô hình của chúng tôi có độ chính xác là 0,5 — nói cách khác, khi dự đoán một khối u là ác tính, tỷ lệ này chính xác là 50%.
Mức độ truy lại
Mức độ ghi nhớ cố gắng trả lời câu hỏi sau:
Tỷ lệ dương tính thực tế đã được xác định chính xác là bao nhiêu?
Về mặt toán học, phương pháp gợi nhắc được định nghĩa như sau:
Hãy tính toán mức độ ghi nhớ cho thuật toán phân loại khối u của chúng tôi:
| Tích cực thực (TP): 1 | Cảnh báo nhầm (FPs): 1 |
| Phủ định sai (FN): 8 | Đúng phủ định (TN): 90 |
Mô hình của chúng tôi có mức độ ghi nhớ là 0,11 – nói cách khác, mô hình này xác định chính xác 11% tất cả các khối u ác tính.
Độ chính xác và mức độ ghi nhớ: kéo co
Để đánh giá đầy đủ mức độ hiệu quả của một mô hình, bạn phải kiểm tra cả độ chính xác và mức độ ghi nhớ. Thật không may, độ chính xác và thu hồi thường bị căng thẳng. Điều này có nghĩa là việc cải thiện độ chính xác thường làm giảm mức độ ghi nhớ và ngược lại. Hãy khám phá khái niệm này bằng cách xem hình sau. Hình bên dưới cho thấy 30 cụm từ gợi ý do mô hình phân loại email tạo ra. Những nội dung nằm ở bên phải ngưỡng phân loại được phân loại là "spam" trong khi các nội dung bên trái được phân loại là "không phải spam."
Hình 1. Phân loại email là thư rác hoặc không phải thư rác.
Hãy tính độ chính xác và mức độ ghi nhớ quảng cáo dựa trên kết quả minh hoạ trong Hình 1:
| Tích cực thực (TP): 8 | Cảnh báo nhầm (FP): 2 |
| Phủ định sai (FN): 3 | Nội dung phủ định thực sự (TN): 17 |
Độ chính xác đo lường tỷ lệ phần trăm email bị gắn cờ là thư rác được phân loại chính xác – tức là tỷ lệ phần trăm số dấu chấm ở bên phải của ngưỡng ngưỡng có màu xanh lục trong Hình 1:
Mức độ ghi nhớ đo lường tỷ lệ phần trăm email rác thực tế đã được phân loại chính xác – tức là tỷ lệ phần trăm chấm màu xanh lục ở bên phải của ngưỡng dữ liệu trong Hình 1:
Hình 2 minh hoạ tác động của việc tăng ngưỡng phân loại.
Hình 2. Tăng ngưỡng phân loại.
Số lượng dương tính giả giảm nhưng âm tính giả tăng lên. Kết quả là độ chính xác tăng lên, trong khi mức độ ghi nhớ giảm:
| Tích cực thực (TP): 7 | Cảnh báo nhầm (FP): 1 |
| Phủ định sai (FN): 4 | Nội dung phủ định thực sự (TN): 18 |
Ngược lại, Hình 3 minh họa tác động của việc giảm ngưỡng phân loại (từ vị trí ban đầu trong Hình 1).
Hình 3. Giảm ngưỡng phân loại.
Dương tính giả tăng và âm tính giả giảm). Kết quả là lần này, độ chính xác giảm và mức độ ghi nhớ tăng lên:
| Tích cực thực (TP): 9 | Cảnh báo nhầm (FP): 3 |
| Phủ định sai (FN): 2 | Đúng phủ định (TN): 16 |
Chúng tôi đã phát triển nhiều chỉ số dựa trên mức độ chính xác và mức độ ghi nhớ quảng cáo. Ví dụ: xem điểm F1.