집계 서비스 부하 테스트 프레임워크

공개 안내 저장소에 이 문서를 추가할 준비를 하는 동안 이 문서에 관한 의견을 보내주시기 바랍니다.

광고 기술은 프로덕션 트래픽의 100% 에 대해 부하 테스트를 실행하는 것이 좋습니다.

  1. 광고 기술은 Attribution Reporting API를 보고 사용 사례로 사용하여 전환 기여 분석 측정에 액세스해야 합니다.
  2. 광고 기술은 노이즈를 최소화하면서 디자인 결정을 내려야 합니다(참고: 설계 결정 모델링).
  3. 테스트하는 동안 광고 기술은 매일 실행되는 작업 수 (예: 광고주 작업별), 전환 이벤트 볼륨의 예상 분포 및 처리 작업당 입력으로 집계 키 수 (집계 서비스 API 문서의 output_domain_blob_prefix 작업 매개변수 참고), 입력 보고서당 예상 평균 전환 이벤트를 추적해야 합니다.
  4. 테스트를 위해 광고 기술은 예상 작업 크기 (예: 보고서 볼륨, 도메인 크기)에 따라 크기 조정 안내 표에서 권장 인스턴스 유형을 조회하고 배포된 집계 서비스의 크기를 적절하게 조정해야 합니다. 참조: AWS의 집계 서비스에 대한 크기 조정 안내
  5. 광고 기술은 부하 테스트를 위해 집계 작업을 실행해야 합니다.

목표

이 가이드는 집계 전환 기여 분석 측정에 한정되며 광고 기술에서 다음을 위해 사용하도록 고안된 주요 설정 및 구성 안내가 포함되어 있습니다.

  • 집계 전환 기여 분석 측정의 부하 기대치를 예측합니다.
  • 측정하려는 측정기준 및 목표, 광고주의 규모 및 세분화에 따라 성능 및 노이즈에 대한 주요 설정 및 구성을 최적화합니다.

기본 요건

이 가이드는 광고 기술 잠재고객을 대상으로 합니다. 다음 단계를 진행하기 전에 노이즈 작업, 보고서 설계 결정 요약에 관한 문서를 검토하고 최적의 구성을 위해 노이즈 실험실을 실험해야 합니다.

맞춤설정 단계

1. 초기 집계 키 설정 전략

비즈니스 유형 및 목표에 따라 필요한 키 구조(측정기준 집합)의 수를 결정합니다. 키 구조를 최적화하면 보고서의 노이즈를 줄일 수 있습니다.

광고주 수
예를 들어 광고주가 1,000명이라고 가정해 보겠습니다.

광고주 간의 유사성
유사성은 전환수, 상대적 전환 가치, 광고주 특성의 일반적인 범위를 바탕으로 평가해야 합니다. 그룹화가 가능할수록 (출력 값의 편차가 적기 때문에) 결과를 더 세밀하게 조정하므로 노이즈의 영향이 줄어듭니다. 자세한 내용은 고급 키 관리를 참조하세요. 예를 들어 광고 기술은 다음과 같이 업종, 지출, 전환수별로 광고주를 분류할 수 있습니다.

  • 업종 (예: 보험, 보석, 성장 관련 소매)
  • 지출 (예: <$50,000/분기, $50~$150,000/분기, $150,000~$250,000/분기)
  • 전환수 (낮음, 중간, 높음)

생성할 집계 키 구조의 수
예: 27 (3x3x3): 업종 3개, 지출 유형 3개, 전환 가치에 대한 그룹 3개.

2. 집계 키 측정기준 식별

다음으로, 노출과 전환을 모두 추적하려는 중요한 측정기준을 식별하여 소스 및 트리거 측 키의 수를 추정합니다.

각 집계 키 구조의 경우 노출수를 추적해야 하는 중요한 측정기준은 소스 측 키의 수를 결정하는 데 도움이 됩니다. 측정기준은 위의 1번에서 살펴본 광고주 유형 (예: 업종, 지출, 전환)에 따라 달라집니다. 다음 예는 측정기준을 설명하는 데 도움이 됩니다.

  • 핵심 구조 1: (업종 = 보험, 지출 = 50,000 미만, 전환수 = 낮음)

    • A: 4개의 측정기준: 캠페인 (예: 가능성 50개), 광고 그룹 (예: 20개 가능성), 기기 유형(예: 5가지 가능성), 지역 (예: 50개)
      1. 가능한 차원 조합 = 50 x 20 x 5 x 50 = 250,000 이는 키 구조 1의 소스 측 키에 가능한 차원 조합의 수를 나타냅니다.
      2. 18비트 예약 필요 (18비트 = 262,144개의 가능한 조합)
  • 주요 구조 2: (업종 = 보험, 지출 = 50,000 미만, 전환수 = 중간)

    • A: 4개의 측정기준: 캠페인 (예: 가능성 30개), 광고 그룹 (예: 80개 가능성), 광고 유형 (예: 3가지 가능성), 지역 (예: 50개)
      1. 가능한 차원 조합 = 30 x 80 x 3 x 50 = 360,000입니다. 이는 키 구조 2의 가능한 측정기준 조합 또는 소스 측 키의 수를 나타냅니다.
      2. 19비트 예약 필요 (19비트) = 가능한 조합 524,288개)
  • 키 구조 3: 반복 (보유한 모든 키 구조의 경우와 비슷하게 계획)

각 집계 키 구조의 경우 전환을 위해 추적해야 하는 중요한 측정기준은 트리거 측 키를 결정하는 데 도움이 됩니다. 예를 들면 다음과 같습니다.

  • 핵심 구조 1: (업종 = 보험, 지출 = 50,000 미만, 전환수 = 낮음)

    • A: 2개의 측정기준: 제품 카테고리 (예: 100개 가능성), 전환 유형 (예: 5가지 가능성)
      1. 가능한 측정기준 조합 = 100 x 5 = 500
      2. 9비트 예약 필요 (9비트 = 가능한 조합 512개)
  • 주요 구조 2: (업종 = 보험, 지출 = 50,000 미만, 전환수 = 중간)

    • A: 3개의 측정기준: 제품 카테고리 (예: 가능성 50개), 제품 유형 (가능성 10개), 전환 유형 (3가지 가능성)
      1. 가능한 차원 조합 = 50 x 10 x 3 = 1,500
      2. 11비트 예약 필요 (11비트 = 가능한 조합 2,048개)
  • 키 구조 3: 반복 (보유한 모든 키 구조의 경우와 비슷하게 계획)

집계 키 추정치

  • 키 구조 1: 노출 키 250,000개 x 전환 키 500개 = 키 125,000,000개
  • 키 구조 2: 노출 키 360,000개 x 전환 키 1.5k = 키 540,000,000개
  • 키 구조 3: (보유하고 있는 모든 키 구조에 대해 이와 비슷하게 계획)
  • 각 키 구조에 반복
  • 최대 집계 키 = 키 540,000,000개 (모든 키 구조 전반). 30비트 예약 필요 (30비트 = 가능한 조합 1.07B)

예상 전환수

각 집계 키 구조의 경우 다음 예를 사용하여 예상 볼륨을 설명할 수 있습니다.

  • 주요 구조 1: (업종 = 보험, 지출 = <50,000, 전환수 = 낮음)
    • A: 키 구조 1이 다음 분기 동안 평균 $8의 CPM 가격으로 약 $500,000의 광고주 지출을 구성할 것으로 예상합니다. 이 경우 등록해야 하는 노출수가 62,500,000회가 될 것으로 예상됩니다.
    • 다음 분기 동안 주요 구조 1의 전환율에 대한 평균 노출수가 0.08%일 것으로 예상하면 50,000회의 기여 전환을 포착해야 합니다. 각 전환에 대해 구매 가치와 구매 횟수를 측정합니다.
  • 주요 구조 2: (업종 = 보험, 지출 = 50,000 미만, 전환수 = 중간)
    • A: 키 2가 다음 분기 동안 평균 $10의 CPM 가격으로 약 $800,000의 지출을 구성할 것으로 예상합니다. 이 경우 등록해야 하는 노출수가 80,000,000회 발생할 것으로 예상됩니다.
    • 다음 분기 동안 키 2가 구성할 전환율에 대한 평균 노출수가 0.03125%일 것으로 예상하면 25,000회의 기여 전환을 포착해야 합니다. 각 전환에 대해 구매 가치와 구매 횟수를 측정합니다.
  • 각 키 구조에 반복

보고 게재 및 일괄 처리 빈도 (광고주당 배치)**

각 집계 키 구조의 경우 전환 보고서가 반복적으로 제공되어야 합니다. 보고서별로 데이터를 더 명확하게 구분하고 집계를 더 효율적으로 하기 위해 광고주별로 광고 기술을 일괄 처리하고 일괄 처리를 위해 보고서의 shared_info.scheduled_report_time 필드를 사용하는 것이 좋습니다.

  • A: 시간당
  • B: 매일
  • C: 매주

Notes

  • 광고주별 일괄 처리의 경우 광고주와 SLA를 확인하세요.
  • 일괄 처리가 자주 이루어질수록 배치당 노이즈도 높아집니다. (결정: 배치 빈도 참고)

  • 잘못된 일괄 처리로 인한 오류를 방지하려면 배치에서 report arrival time가 아닌 scheduled_report_time 필드를 사용해야 합니다. 예를 들어 매시간 일괄 처리하는 경우 오전 11시에 대한 배치에는 오전 10시에서 오전 11시 사이에 scheduled_report_time가 있는 보고서만 포함되어야 하며, 오전 10시와 11시 사이에 다른 scheduled_report_time으로 수신된 보고서는 포함하지 않아야 합니다 (예: 오전 9시).

보고량 예상치

  • 주요 구조 1: 기여 전환수 50,000회 / 2,160회 (시간별 보고, 분기별 시간) = 광고주별 시간당 요약 보고서 24개 (24개 x 광고주 1,000명 = 요약 보고서 24,000개)
  • 주요 구조 2: 기여 전환수 25,000회 / 2,160회 (시간별 보고, 분기별 시간) = 광고주별 시간당 요약 보고서 12개 (12개 x 광고주 1,000명 = 요약 보고서 12,000개)
  • 키 구조 3: 반복
  • 시간당 총 요약 보고서 수 = 키 구조 1의 요약 보고서 24개 + 키 구조 2의 요약 보고서 12개 + ... = 광고주별 시간당...

의견 요약

광고 기술의 다음과 같은 추정치를 이해하면 광고 기술에 필요한 규모를 지원하는 기능과 개선사항을 계획하는 데 도움이 됩니다. 다음 내용을 Google과 공유하는 것이 좋습니다. 자세한 내용은 AWS의 집계 서비스 크기 조정 안내를 참조하세요.

  • 집계 서비스 작업당 최대 입력 도메인 키 (집계할 키)
  • 최대 입력값은 작업당 볼륨을 보고합니다 (기여 전환수).
  • 보고서당 예상 기여도 (보고서의 키/값 쌍)
  • 작업당 기여 전환수의 예상 분포
  • 작업에서 도메인 키의 예상 분포
  • 시간당/일/주 예상 작업 수