Penskoran

Setelah pembuatan kandidat, model lain akan menilai dan memberi peringkat kandidat yang dihasilkan untuk memilih kumpulan item yang akan ditampilkan. Sistem rekomendasi dapat memiliki beberapa generator kandidat yang menggunakan sumber yang berbeda, seperti berikut:

Contoh

• Item terkait dari model faktorisasi matriks.
• Fitur pengguna yang memperhitungkan personalisasi.
• "Lokal" vs "jauh" item; yaitu, memperhitungkan informasi geografis.
• Item populer atau trending.
• Grafik sosial; yaitu, item yang disukai atau direkomendasikan oleh teman.

Sistem menggabungkan berbagai sumber ini ke dalam kumpulan kandidat umum yang kemudian diberi skor oleh satu model dan diberi peringkat sesuai dengan skor tersebut. Misalnya, sistem dapat melatih model untuk memprediksi probabilitas pengguna yang menonton video di YouTube dengan mempertimbangkan hal berikut:

• fitur kueri (misalnya, histori tontonan pengguna, bahasa, negara, waktu)
• fitur video (misalnya, judul, tag, penyematan video)

Selanjutnya, sistem dapat menentukan peringkat video dalam kumpulan kandidat sesuai dengan prediksi model.

Mengapa Tidak Membiarkan Generator Kandidat Mendapatkan Skor?

Karena generator kandidat menghitung skor (seperti kemiripan dalam ruang sematan), Anda mungkin tergoda untuk menggunakannya untuk memberi peringkat juga. Namun, Anda harus menghindari praktik ini karena alasan berikut:

• Beberapa sistem mengandalkan beberapa generator kandidat. Skor generator yang berbeda ini mungkin tidak dapat dibandingkan.
• Dengan kumpulan kandidat yang lebih kecil, sistem dapat menggunakan lebih banyak fitur dan model yang lebih kompleks yang dapat menangkap konteks dengan lebih baik.

Memilih Fungsi Tujuan untuk Penskoran

Seperti yang mungkin telah Anda ingat dari Pengantar Framing Masalah ML, ML dapat bertindak seperti jin yang nakal: sangat senang mempelajari tujuan yang Anda berikan, tetapi Anda harus berhati-hati dengan hal yang diinginkan. Kualitas buruk ini juga berlaku untuk sistem rekomendasi. Pilihan fungsi pemberian skor dapat secara dramatis memengaruhi peringkat item, dan pada akhirnya kualitas rekomendasi.

Contoh:

Klik ikon plus untuk mempelajari apa yang terjadi sebagai akibat dari menggunakan setiap tujuan.

Maksimalkan Rasio Klik

Jika fungsi pemberian skor mengoptimalkan klik, sistem dapat merekomendasikan video dengan click-bait. Fungsi penskoran ini menghasilkan klik, tetapi tidak memberikan pengalaman pengguna yang baik. Minat pengguna dapat hilang dengan cepat.

Maksimalkan Waktu Tonton

Jika fungsi penskoran dioptimalkan untuk waktu tonton, sistem dapat merekomendasikan video yang sangat panjang, yang dapat menyebabkan pengalaman pengguna yang buruk. Perlu diperhatikan bahwa beberapa smartwatch pendek dapat sama baiknya dengan satu smartwatch berdurasi panjang.

Meningkatkan Keberagaman dan Memaksimalkan Waktu Tonton Sesi

Menyarankan video yang lebih pendek, tetapi yang cenderung membuat pengguna terus berinteraksi.

Bias Posisi dalam Penskoran

Item yang muncul lebih rendah di layar cenderung tidak diklik daripada item yang muncul lebih tinggi di layar. Namun, saat mencetak video, sistem biasanya tidak mengetahui di mana layar tersebut akan menampilkan link ke video tersebut. Kueri model dengan semua kemungkinan posisi terlalu mahal. Meskipun kueri terkait beberapa posisi memungkinkan, sistem masih mungkin tidak menemukan peringkat yang konsisten di beberapa skor peringkat.

Solusi

• Buat peringkat yang tidak bergantung pada posisi.
• Beri peringkat semua kandidat seolah-olah mereka berada di posisi teratas pada layar.