Punteggio

Dopo la generazione del candidato, un altro modello assegna un voto e classifica i candidati generati per selezionare l'insieme di elementi da visualizzare. Il sistema di suggerimenti può avere più generatori candidati che usano origini diverse, come i seguenti:

Esempi

• Elementi correlati di un modello di fattorizzazione matrice.
• Funzionalità utente che tengono conto della personalizzazione.
• "Local" vs "distant" items; ovvero, tenendo in considerazione le informazioni geografiche.
• Articoli popolari o di tendenza.
• Un grafico social, ovvero elementi apprezzati o consigliati dagli amici.

Il sistema combina queste diverse fonti in un pool comune di candidati che vengono poi valutati da un singolo modello e classificati in base a quel punteggio. Ad esempio, il sistema può addestrare un modello per prevedere la probabilità di un utente che guarda un video su YouTube sulla base di quanto segue:

• Funzionalità di query (ad esempio cronologia visualizzazioni degli utenti, lingua, paese, ora)
• Funzionalità video (ad esempio titolo, tag, incorporamento video)

Il sistema può quindi classificare i video nel pool di candidati in base alla previsione del modello.

Perché non lasciare che sia il punteggio del generatore di candidati?

Poiché i generatori candidati calcolano un punteggio (come la misura della somiglianza nello spazio di incorporamento), potresti avere la tentazione di utilizzare questo punteggio anche per il ranking. Tuttavia, devi evitare questa pratica per i seguenti motivi:

• Alcuni sistemi si basano su più generatori candidati. I punteggi di questi diversi generatori potrebbero non essere confrontabili.
• Con un gruppo di candidati più piccolo, il sistema può permettersi di utilizzare più funzionalità e un modello più complesso che potrebbe comprendere meglio il contesto.

Scelta di una funzione oggettiva per il punteggio

Come forse ricorderai dall'introduzione al ML ML Framing, il machine learning può agire come un genio malizioso: essere molto felice di imparare l'obiettivo che offri, ma devi fare attenzione a ciò che vuoi. Questa qualità maliziosa si applica anche ai sistemi di suggerimento. La scelta della funzione di valutazione può influire notevolmente sul ranking degli elementi e, in definitiva, sulla qualità dei consigli.

Ad esempio:

Fai clic sulle icone più per sapere cosa succede come risultato dell'utilizzo di ogni obiettivo.

Massimizza la percentuale di clic

Se la funzione di punteggio ottimizza per i clic, i sistemi possono consigliare i video clickbait. Questa funzione di punteggio genera clic, ma non offre una buona esperienza utente. L'interesse degli utenti potrebbe attenuarsi rapidamente.

Massimizza il tempo di visualizzazione

Se la funzione di punteggio ottimizza per il tempo di visualizzazione, il sistema potrebbe consigliare video molto lunghi, il che potrebbe portare a un'esperienza utente scadente. Tieni presente che più smartwatch brevi possono essere validi per un solo smartwatch lungo.

Aumenta la diversificazione e Massimizza il tempo di visualizzazione della sessione

Ti consigliamo di utilizzare video più brevi, ma quelli che hanno maggiori probabilità di coinvolgere l'utente.

Bias di posizione nel punteggio

Gli elementi che appaiono in basso sullo schermo hanno meno probabilità di ricevere clic rispetto agli elementi visualizzati più in alto sullo schermo. Tuttavia, quando assegna un punteggio a un video, il sistema di solito non sa dove viene visualizzato un link al video sullo schermo. Eseguire query sul modello con tutte le posizioni possibili è troppo costoso. Anche se era possibile eseguire query su più posizioni, il sistema potrebbe comunque non trovare un ranking coerente su più punteggi di ranking.

Soluzioni

• Creare ranking indipendenti dalla posizione.
• Classificare tutti i candidati come se fossero in prima posizione sullo schermo.