Ocena

Po wygenerowaniu kandydatów inny model uzyskuje ocenę i ustala pozycję wygenerowanych kandydatów w celu wybrania zestawu elementów do wyświetlenia. System rekomendacji może mieć wiele generatorów kandydatów korzystających z różnych źródeł, takich jak:

Przykłady

• Powiązane elementy modelu modelu macierzy.
• Funkcje użytkownika, które umożliwiają personalizację.
• &&tt;Local" vs "odległy" elementy, czyli dane geograficzne.
• Popularne lub zyskujące popularność produkty.
• Wykres społecznościowy, czyli elementy polecane lub polecane przez znajomych.

System łączy te różne źródła w wspólną pulę kandydatów, które są następnie oceniane na podstawie jednego modelu i ustalane na podstawie tej oceny. System może na przykład wytrenować model do prognozowania prawdopodobieństwa doprowadzenia przez użytkownika filmu w YouTube, biorąc pod uwagę te warunki:

• funkcje zapytań (np. historia oglądania użytkownika, język, kraj czy godzina)
• funkcje wideo (na przykład tytuł, tagi, umieszczanie filmów).

System może następnie utworzyć ranking filmów w puli kandydatów zgodnie z prognozą modelu.

Dlaczego kandydat nie może ocenić wyniku generatora?

Generatory kandydatów obliczają wynik (np. wskaźnik podobieństwa w umieszczonej witrynie), więc można go też używać do ustalania rankingu. Należy jednak unikać tej procedury z następujących powodów:

• Niektóre systemy korzystają z wielu generatorów kandydatów. Wyniki tych różnych generatorów mogą być porównywalne.
• Dzięki mniejszej liczbie kandydatów system może pozwolić sobie na użycie większej liczby funkcji i bardziej złożonego modelu, który lepiej uwzględnia kontekst.

Wybór funkcji Obiektywnej do oceny

Jak zapewne pamiętasz, od Wprowadzenie do problemów z systemami uczącymi się – systemy uczące się mogą działać jak sztuczne dżungle: jesteś bardzo zadowolony(a), że poznasz swój cel, ale musisz przemyśleć, czego oczekujesz. Fałszywa jakość ma też zastosowanie do systemów rekomendacji. Wybór oceny może znacznie wpłynąć na pozycję produktów, a nawet na jakość rekomendacji.

Przykład:

Kliknij ikony plusa, aby sprawdzić, co się dzieje, gdy używasz danego celu.

Maksymalizuj współczynnik klikalności

Jeśli punktacja będzie optymalizowana pod kątem kliknięć, systemy te będą polecać filmy, które są „przynętą na kliknięcia”. Ta funkcja punktacji generuje kliknięcia, ale nie zapewnia użytkownikom dobrych wrażeń. Zainteresowanie użytkowników może szybko rosnąć.

Maksymalizacja czasu oglądania

Jeśli ocena zostanie zoptymalizowana pod kątem czasu oglądania, system może polecić bardzo długie filmy, co może zniechęcić użytkowników. Pamiętaj, że wiele krótkich zegarków sprawdzi się tak samo jak jeden długi.

Zwiększanie różnorodności i maksymalizowanie czasu oglądania sesji

Polecaj krótsze filmy, ale bardziej prawdopodobne, że utrzymają one zaangażowanie użytkownika.

Odchylenie pozycjonowane w punktacji

Prawdopodobieństwo, że użytkownik kliknie element na ekranie, jest mniej klikany niż ten, który znajduje się wyżej na ekranie. Oceniając filmy, system zazwyczaj nie wie, gdzie na ekranie znajduje się link do danego filmu. Zapytanie do modelu ze wszystkimi możliwymi pozycjami jest zbyt kosztowne. Nawet jeśli można by wysyłać zapytania z wieloma pozycjami, system może nie znaleźć spójnej pozycji w rankingu.

Rozwiązania

• Twórz rankingi niezależne od pozycji.
• Ustal ranking wszystkich kandydatów, tak jakby znajdują się na najwyższej pozycji na ekranie.