Sau khi tạo ứng viên, một mô hình khác sẽ chấm điểm và xếp hạng các ứng viên được tạo để chọn nhóm mục cần hiển thị. Hệ thống đề xuất có thể có nhiều trình tạo ứng viên sử dụng nhiều nguồn, chẳng hạn như sau:
- Các mục liên quan từ một mô hình hệ số ma trận.
- Những tính năng dành cho người dùng cá nhân hóa.
- "Local" so với "distant" mặt hàng; tức là có tính đến thông tin địa lý.
- Các mặt hàng phổ biến hoặc thịnh hành.
- Một biểu đồ xã hội; nghĩa là các mục mà bạn bè thích hoặc đề xuất.
Hệ thống sẽ kết hợp các nguồn khác nhau này thành một nhóm đề xuất chung, sau đó được điểm theo một mô hình duy nhất và xếp hạng theo điểm số đó. Ví dụ: Hệ thống có thể đào tạo một mô hình để dự đoán xác suất người dùng xem video trên YouTube như sau:
- tính năng truy vấn (ví dụ: nhật ký xem của người dùng, ngôn ngữ, quốc gia, thời gian)
- các tính năng của video (ví dụ: tiêu đề, thẻ, nhúng video)
Sau đó, hệ thống có thể xếp hạng các video trong nhóm đề xuất theo dự đoán của mô hình.
Tại sao không để điểm số của trình tạo ứng viên?
Vì các trình tạo ứng viên tính toán điểm số (chẳng hạn như thước đo mức độ tương đồng trong không gian nhúng), nên bạn cũng có thể muốn sử dụng các trình tạo này để xếp hạng. Tuy nhiên, bạn nên tránh sử dụng phương pháp này vì những lý do sau:
- Một số hệ thống dựa vào nhiều trình tạo ứng viên. Điểm của những trình tạo khác nhau này có thể không tương đương với nhau.
- Quy mô nhóm ứng cử viên nhỏ hơn đã cho phép hệ thống có thể sử dụng nhiều tính năng hơn và một mô hình phức tạp hơn có thể nắm bắt tốt hơn ngữ cảnh.
Chọn hàm mục tiêu để tính điểm
Như bạn có thể nhớ trong phần Giới thiệu về Khung sự cố máy học, công nghệ máy học có thể hoạt động như một thiên thần tinh thần: bạn rất sẵn lòng tìm hiểu mục tiêu mà mình cung cấp, nhưng bạn phải cẩn thận tìm hiểu xem mình muốn gì. Chất lượng tinh vi này cũng áp dụng cho các hệ thống đề xuất. Việc chọn hàm tính điểm có thể ảnh hưởng đáng kể đến thứ hạng của các mục và cuối cùng là chất lượng của các đề xuất.
Ví dụ:
Nhấp vào các biểu tượng dấu cộng để tìm hiểu điều gì sẽ xảy ra khi sử dụng mỗi đối tượng.
Bias Vị trí trong tính năng chấm điểm
Các mục xuất hiện thấp hơn trên màn hình ít có khả năng được nhấp vào hơn so với các mục xuất hiện ở vị trí cao hơn trên màn hình. Tuy nhiên, khi tính điểm video, hệ thống thường không biết vị trí cuối cùng mà một đường liên kết đến video đó sẽ xuất hiện. Việc truy vấn mô hình với tất cả các vị trí có thể là quá tốn kém. Ngay cả khi không thể truy vấn nhiều vị trí, hệ thống vẫn có thể không tìm thấy thứ hạng nhất quán trên nhiều điểm xếp hạng.
Giải pháp
- Tạo thứ hạng độc lập với vị trí.
- Xếp hạng tất cả các ứng viên như thể họ đang ở vị trí trên cùng trên màn hình.