후보 생성 후 다른 모델이 생성된 후보의 점수를 매기고 순위를 지정하여 표시할 항목 집합을 선택합니다. 추천 시스템에는 다음과 같이 다른 소스를 사용하는 여러 후보 생성기가 있을 수 있습니다.
- 행렬 분해 모델의 관련 항목입니다.
- 맞춤설정을 고려하는 사용자 기능
- 지리적 항목과 로컬 위치 항목을 분리합니다. 즉, 지리적 정보를 고려합니다.
- 인기 있는 또는 인기 있는 항목입니다.
- 소셜 그래프, 즉 친구가 좋아하거나 추천한 항목입니다.
시스템에서는 이러한 다양한 소스를 일반적인 후보 풀로 결합하고, 이러한 모델은 단일 모델에 의해 점수가 매겨지고 해당 점수에 따라 순위가 지정됩니다. 예를 들어 시스템은 다음과 같은 경우 YouTube에서 동영상을 시청할 확률을 예측하도록 모델을 학습시킬 수 있습니다.
- 쿼리 기능 (예: 사용자 시청 기록, 언어, 국가, 시간)
- 동영상 기능 (예: 제목, 태그, 동영상 삽입)
그러면 시스템은 모델의 예측에 따라 후보 풀에 있는 동영상의 순위를 매길 수 있습니다.
Candidate Generator 점수를 허용하지 않는 이유
후보 생성기는 점수를 계산하기 때문에 (예: 임베딩 공간의 유사성 측정) 이러한 생성기를 사용하여 순위 지정을 하고 싶을 수도 있습니다. 하지만 다음과 같은 이유로 이 관행을 피해야 합니다.
- 일부 시스템에서는 여러 후보 생성기를 사용합니다. 이러한 다른 생성기의 점수는 서로 비교할 수 없을 수 있습니다.
- 더 적은 수의 풀 풀을 사용하면 시스템에서 더 많은 기능을 사용하고 컨텍스트를 더 잘 캡처하는 더 복잡한 모델을 사용할 수 있습니다.
채점의 목표 함수 선택
ML 문제 프레이밍 소개에서 알 수 있듯이 ML은 장난스러운 지니처럼 기능할 수 있습니다. 제공된 목표를 매우 기쁘게 생각하게 되지만 원하는 것을 신중하게 선택해야 합니다. 이 장난스러운 품질은 추천 시스템에도 적용됩니다. 점수 함수를 선택하면 항목의 순위가 크게 달라지고 최종적으로 추천 품질이 크게 달라질 수 있습니다.
예를 들면 다음과 같습니다.
더하기 아이콘을 클릭하면 각 목표를 사용하면 어떤 결과가 발생하는지 알아볼 수 있습니다.
스코어링의 위치 편향
화면 아래에 표시되는 항목은 화면에서 상위에 표시되는 항목보다 클릭될 가능성이 낮습니다. 하지만 동영상 점수를 매길 때 시스템은 일반적으로 동영상 링크가 화면에 표시되는 위치를 알지 못합니다. 가능한 모든 위치로 모델을 쿼리하는 것은 너무 많은 비용이 듭니다. 여러 포지셔닝을 실행할 수 있더라도 시스템에서는 여전히 여러 순위 점수에 걸쳐 일관된 순위를 찾지 못할 수 있습니다.
솔루션
- 순위와 무관한 랭킹을 만듭니다.
- 화면에서 가장 위에 오는 것처럼 모든 후보의 순위를 매깁니다.