Bewertungen

Nach der Kandidatengenerierung bewertet und bewertet ein anderes Modell die generierten Kandidaten, um die anzuzeigenden Elemente auszuwählen. Das Empfehlungssystem kann mehrere Kandidatengeneratoren haben, die unterschiedliche Quellen verwenden, z. B.:

Beispiele

• Ähnliche Elemente aus einem Matrixfaktorisierungsmodell.
• Nutzerfunktionen für die Personalisierung.
• "Local" vs. "distant" Elemente, die geografische Informationen berücksichtigen.
• Beliebte oder angesagte Artikel.
• Ein Social Graph, d. h. Artikel, die von Freunden positiv oder positiv bewertet wurden

Das System kombiniert diese verschiedenen Quellen zu einem gemeinsamen Pool an Kandidaten, die dann nach einem einzigen Modell bewertet und nach dieser Punktzahl sortiert werden. Das System kann beispielsweise ein Modell trainieren, um die Wahrscheinlichkeit vorherzusagen, dass ein Nutzer ein Video auf YouTube ansieht, wobei Folgendes gilt:

• Abfragefunktionen (z. B. Nutzerverlauf, Sprache, Land, Zeit)
• Videofunktionen (z. B. Titel, Tags, Videoeinbettung)

Das System kann dann die Videos im Pool der Kandidaten entsprechend der Vorhersage des Modells sortieren.

Warum nicht den Kandidaten des Kandidats bewerten lassen?

Da Kandidatengeneratoren eine Punktzahl berechnen (z. B. die Ähnlichkeitsmessung im Einbettungsbereich), kann es sinnvoll sein, sie für das Ranking zu verwenden. Sie sollten diese Vorgehensweise jedoch aus folgenden Gründen vermeiden:

• Einige Systeme nutzen mehrere Kandidatengeneratoren. Die Punktzahlen dieser verschiedenen Generatoren sind möglicherweise nicht vergleichbar.
• Bei einem kleineren Pool von Kandidaten kann das System mehr Features und ein komplexeres Modell verwenden, das den Kontext möglicherweise besser erfasst.

Zielfunktion für die Bewertung auswählen

Wie Sie vielleicht aus der Einführung in das ML-Framing denken, kann ML wie ein raffinierter Genie sein: Es freut sich, wenn Sie wissen, was Sie erreichen wollen. Sie müssen aber vorsichtig sein, was Sie sich wünschen. Diese geniale Qualität gilt auch für Empfehlungssysteme. Die Auswahl der Bewertungsfunktion kann das Ranking der Elemente und letztendlich die Qualität der Empfehlungen erheblich beeinflussen.

Beispiel:

Klicken Sie auf das Pluszeichen, um zu erfahren, was nach der Verwendung der einzelnen Ziele geschieht.

Klickrate maximieren

Wenn die Bewertungsfunktion für Klicks optimiert wird, empfehlen die Systeme möglicherweise, Clickbaiting-Videos einzusetzen. Diese Bewertungsfunktion generiert Klicks, beeinträchtigt jedoch nicht die Nutzererfahrung. Das Interesse lässt sich schnell abnehmen.

Wiedergabezeit maximieren

Wenn die Bewertungsfunktion die Wiedergabezeit optimiert, empfiehlt das System möglicherweise sehr lange Videos, was die Nutzerfreundlichkeit beeinträchtigen kann. Hinweis: Mehrere kurze Videos können genauso lang sein wie eine lange.

Diversität erhöhen und die Wiedergabezeit maximieren

Empfehlen Sie kürzere Videos, die aber mit höherer Wahrscheinlichkeit das Interesse der Nutzer aufrechterhalten.

Positionsgewichtung im Index

Elemente, die weiter unten auf dem Bildschirm angezeigt werden, klicken seltener auf Elemente, die weiter oben auf dem Bildschirm angezeigt werden. Bei der Bewertung von Videos weiß das System jedoch in der Regel nicht, wo auf dem Bildschirm letztendlich ein Link zu diesem Video angezeigt wird. Das Abfragen des Modells mit allen möglichen Positionen ist zu teuer. Selbst wenn mehrere Positionen abgefragt werden konnten, konnte das System dennoch kein konsistentes Ranking in mehreren Ranking-Punktzahlen finden.

Lösungen

• Positionsunabhängige Ranglisten erstellen
• Bewerte alle Kandidaten so, als wären sie an der obersten Position auf dem Bildschirm.