Klasifikasi: Periksa Pemahaman Anda: Akurasi, Presisi, Perolehan

Akurasi

Pelajari opsi di bawah.

Dari skenario berikut, mana yang memiliki nilai akurasi tinggi dan menunjukkan bahwa model ML melakukan tugasnya dengan baik?
Kondisi medis yang mematikan, namun dapat disembuhkan, menyerang 0,01% dari populasi manusia. Model ML menggunakan gejala sebagai fitur dan memprediksi penyebab penyakit ini dengan akurasi 99,99%.
Akurasi adalah metrik yang buruk di sini. Lagi pula, model "dumb" yang selalu memprediksi "tidak sakit" akan tetap 99,99% akurat. Salah memprediksi "tidak sakit" pada orang yang sebenarnya sakit dapat membahayakan jiwa.
Robot ayam yang mahal menyeberang jalan raya yang ramai ribuan kali per hari. Model ML mengevaluasi pola lalu lintas dan memprediksi kapan ayam ini dapat menyeberang jalan raya secara aman dengan akurasi 99,99%.
Nilai akurasi 99,99% pada setiap jalan raya yang ramai menunjukkan dengan jelas bahwa model ML jauh lebih baik daripada peluang. Namun, pada beberapa setelan, risiko dalam membuat kesalahan, bahkan dalam jumlah kecil, masih terlalu tinggi. Akurasi 99,99% menandakan bahwa robot ayam yang mahal tersebut perlu diganti, rata-rata, setiap 10 hari sekali. (Ayam tersebut juga dapat menyebabkan kerusakan yang besar pada mobil yang ditabraknya.)
Dalam game rolet, bola dilemparkan di atas roda yang berputar dan akhirnya jatuh di salah satu dari 38 slot. Dengan menggunakan fitur visual (putaran bola, posisi roda saat bola dilemparkan, ketinggian bola dari permukaan roda), model ML dapat memprediksi slot tempat bola tersebut akan masuk dengan akurasi 4%.
Model ML ini membuat prediksi jauh lebih baik daripada peluang; tebakan acak memiliki peluang benar 1/38—menghasilkan akurasi 2,6%. Meskipun akurasi model tersebut "hanya" 4%, keuntungan dari keberhasilannya jauh lebih besar dibanding kerugian dari kegagalannya.

Presisi

Pelajari opsi di bawah.

Pertimbangkan model klasifikasi yang memisahkan email menjadi dua kategori: "spam" atau "bukan spam". Jika Anda meningkatkan batas klasifikasi, apa yang akan terjadi pada presisi?
Pasti meningkat.
Meningkatkan batas klasifikasi biasanya akan meningkatkan presisi; namun, presisi tidak dijamin akan meningkat secara monoton mengikuti batas yang kita tingkatkan.
Mungkin meningkat.
Umumnya, meningkatkan batas klasifikasi akan mengurangi positif palsu, sehingga meningkatkan presisi.
Mungkin menurun.
Umumnya, meningkatkan batas klasifikasi akan mengurangi positif palsu, sehingga meningkatkan presisi.
Pasti menurun.
Umumnya, meningkatkan batas klasifikasi akan mengurangi positif palsu, sehingga meningkatkan presisi.

Perolehan

Pelajari opsi di bawah.

Pertimbangkan model klasifikasi yang memisahkan email menjadi dua kategori: "spam" atau "bukan spam". Jika Anda meningkatkan batas klasifikasi, apa yang akan terjadi pada perolehan?
Selalu meningkat.
Meningkatkan batas klasifikasi akan menyebabkan hal berikut:
  • Jumlah positif benar akan menurun atau tetap sama.
  • Jumlah negatif palsu akan meningkat atau tetap sama.
Jadi, perolehan tidak akan meningkat.
Selalu menurun atau tetap sama.
Meningkatkan batas klasifikasi akan menyebabkan jumlah positif benar menurun atau tetap sama, dan akan menyebabkan jumlah negatif palsu meningkat atau tetap sama. Jadi, perolehan akan tetap konstan atau menurun.
Selalu konstan.
Meningkatkan batas klasifikasi akan menyebabkan jumlah positif benar menurun atau tetap sama, dan akan menyebabkan jumlah negatif palsu meningkat atau tetap sama. Jadi, perolehan akan tetap konstan atau menurun.

Presisi dan Perolehan

Pelajari opsi di bawah.

Pertimbangkan dua model—A dan B—yang masing-masing mengevaluasi kumpulan data yang sama. Manakah dari pernyataan berikut yang benar?
Jika model A memiliki presisi yang lebih baik daripada model B, maka model A lebih baik.
Meski presisi yang lebih baik itu bagus, hal tersebut dapat menghasilkan kerugian dengan adanya pengurangan yang besar pada perolehan. Secara umum, kita perlu melihat baik presisi maupun perolehan, atau metrik ringkasan seperti ABK yang akan kita bahas nanti.
Jika model A memiliki perolehan yang lebih baik daripada model B, maka model A lebih baik.
Meski perolehan yang lebih baik itu bagus, hal tersebut dapat menghasilkan kerugian dengan adanya pengurangan yang besar pada presisi. Secara umum, kita perlu melihat baik presisi maupun perolehan, atau metrik ringkasan seperti ABK yang akan kita bahas nanti.
Jika model A memiliki presisi dan perolehan yang lebih baik daripada model B, maka model A mungkin lebih baik.
Secara umum, model yang mengungguli presisi dan perolehan model lain kemungkinan adalah model yang lebih baik. Tentunya, kita perlu memastikan bahwa perbandingan dilakukan pada poin presisi/perolehan yang berguna secara praktis agar model menjadi bermakna. Misalnya, anggap model deteksi spam kita perlu memiliki minimal 90% presisi agar dapat berguna dan menghindari kesalahan deteksi. Dalam hal ini, membandingkan satu model yang memiliki {20% presisi, 99% perolehan} dengan model lain {15% presisi, 98% perolehan} tidak terlalu edukatif, karena kedua model tersebut tidak memenuhi persyaratan 90% presisi. Namun, dengan mempertimbangkan peringatan tersebut, ini adalah cara yang baik untuk berpikir tentang membandingkan model saat menggunakan presisi dan perolehan.