Độ chính xác là một chỉ số giúp đánh giá các mô hình phân loại. Chưa chính thức, độ chính xác là tỷ lệ dự đoán mà mô hình của chúng tôi đã có chính xác. Chính thức, độ chính xác có định nghĩa sau:
Đối với cách phân loại nhị phân, độ chính xác cũng có thể được tính theo dạng dương và âm:
Trong đó TP = Dương tính thực, TN = Đúng phủ định, FP = Dương tính giả và FN = Phủ định sai.
Hãy thử tính toán độ chính xác cho mô hình sau đây, trong đó phân loại 100 khối u là độc hại (lớp dương) hoặc t lành tính (lớp phủ định):
Tích cực thực (TP):
|
False dương tính (FP):
|
False negative (FN):
|
True phủ định (TN):
|
Độ chính xác đưa ra là 0, 91 hoặc 91% (91 dự đoán đúng trong tổng số 100 ví dụ). Điều đó có nghĩa là trình phân loại khối u của chúng tôi đang làm rất tốt việc xác định các khối u ác tính, phải không?
Thực sự, hãy phân tích kỹ hơn về mặt tích cực và tiêu cực để có thêm thông tin chi tiết về hiệu suất của mô hình.
Trong số 100 ví dụ về khối u, 91 ví dụ là vô hại (90 TN và 1 FP) và 9 u là ác tính (1 TP và 8 FN).
Trong số 91 khối u lành tính, mô hình này xác định chính xác 90 khối u là lành tính. Tốt rồi. Tuy nhiên, trong số 9 khối u ác tính, mô hình chỉ xác định chính xác 1 khối u là ác tính. Kết quả rất tệ vì 8/9 khối u ác tính sẽ không được chẩn đoán!
Mặc dù sơ bộ, độ chính xác 91% có vẻ tốt, nhưng một mô hình thuật toán phân loại khối u khác luôn dự đoán là vô hại sẽ đạt được độ chính xác tương tự (91/100 cụm từ gợi ý chính xác) trên các ví dụ của chúng tôi. Nói cách khác, mô hình của chúng tôi không tốt hơn một mô hình không có khả năng dự đoán để phân biệt các khối u ác tính với các khối u lành tính.
Chỉ riêng độ chính xác là chưa có đầy đủ thông tin khi bạn làm việc với tập dữ liệu không cân bằng lớp, như tập dữ liệu này, trong đó có sự khác biệt đáng kể giữa số lượng nhãn tích cực và tiêu cực.
Trong phần tiếp theo, chúng ta sẽ xem xét hai chỉ số tốt hơn để đánh giá các vấn đề không cân bằng lớp: độ chính xác và mức độ ghi nhớ.