이 문서에서는 Google Maps Platform Place Autocomplete 및 Address Validation API의 A/B 테스트를 실행할 때 고려해야 할 기법을 설명합니다.
Place Autocomplete 및 Address Validation API를 사용하면 다음과 같은 몇 가지 이점이 있습니다.
- 고객 경험 개선: 고객에게 주소 및 장소에 대한 실시간 추천을 제공하여 고객이 더 빠르고 쉽게 결제를 완료할 수 있도록 지원합니다. 이를 통해 고객 경험을 개선할 수 있습니다.
- 데이터 정확성 개선: Place Autocomplete 및 Address Validation API를 사용하면 고객 데이터의 정확성을 개선할 수 있습니다. 정확한 주소 데이터가 패키지 배송 성공에 중요한 이커머스에서 특히 중요할 수 있습니다.
주소 품질을 개선하려면 A/B 테스트를 실행하여 요구사항을 가장 잘 충족하는 유효성 검사 솔루션을 평가하세요. 이를 통해 사용 사례에 가장 적합한 제품을 정량적으로 결정할 수 있습니다.
A/B 테스트는 두 버전의 웹페이지 또는 앱을 서로 비교하는 방법입니다. 측정 가능한 결과에 변수 변경이 미치는 영향을 확인하는 데 사용되는 통제 실험 유형입니다.
A/B 테스트를 실행하려면 페이지 또는 앱의 두 버전을 만듭니다. 하나는 통제 버전이고 다른 하나는 측정 가능한 변경사항이 있는 버전입니다. 그런 다음 이러한 버전을 서로 다른 사용자에게 표시하고 사용자가 이러한 버전과 상호작용하는 방식을 측정합니다. 실적이 더 좋은 버전이 승리합니다.
시스템 아키텍처 개요
전자상거래 사용 사례에서 Address Validation의 A/B 테스트를 살펴보겠습니다. 아래 아키텍처 다이어그램은 고객이 상거래 환경과 상호작용하는 방식을 보여주므로 더 효과적인 유효성 검사 전략을 결정할 수 있습니다.
[시스템 컨텍스트] Address Validation의 A/B 테스트
Address Validation API의 값을 A/B 테스트할 때 관련된 시스템입니다.
A/B 테스트 프로세스
전반적인 A/B 테스트 프로세스를 고려할 때는 네 단계를 고려해야 합니다.
- 준비 - 테스트 요구사항, 범위, 기간을 파악합니다.
- 빌드 - 테스트를 실행할 환경에 Place Autocomplete 및 Address Validation API를 구현합니다.
- 실행 - 중요한 결과가 얻어지거나 시간이 만료될 때까지 테스트가 실행되는 동안 측정항목을 수집합니다.
- 분석 - 결과를 가설과 비교하고 다음 단계를 파악합니다.
각각에 대해 차례로 설명하겠습니다.
준비
A/B 테스트 요구사항 결정
초기 검색
다음과 같은 질문을 해 보세요. Address Validation 제공업체를 추가하거나 변경하는 이유는 무엇인가요? 예를 들어 Google 지도 Place Autocomplete를 사용하는 경우:
- 시간 절약: 입력을 시작하고 추천이 표시되도록 하면 장소의 전체 이름을 입력할 필요가 없습니다.
- 오류 감소: 장소 이름을 잘못 입력해도 Google 지도 Place Autocomplete에서 올바른 장소를 추천합니다.
주소 유효성 검사에는 다음과 같은 여러 이점이 있습니다.
- 배송률 개선: Address Validation을 사용하면 우편물과 패키지가 올바른 주소로 전송되도록 하여 배송률을 개선할 수 있습니다. 이를 통해 비즈니스에서 시간과 비용을 절약하고 고객 만족도를 높일 수 있습니다.
- 데이터 품질 개선: 주소 유효성 검사를 사용하면 주소의 오류를 식별하고 수정하여 데이터 품질을 개선할 수 있습니다. 이를 통해 마케팅 캠페인 및 기타 데이터 기반 이니셔티브의 정확성을 개선할 수 있습니다.
가설 결정
테스트할 가설을 결정합니다. 다음은 두 가지 예입니다.
1. 전환율
미리 입력 솔루션을 추가하면 일반적으로 전환율이 약간 증가하며 이는 추적하기에 좋은 측정항목입니다. 미리 입력 솔루션을 다른 제공업체에서 변경하는 경우 평면 전환율이 예상됩니다. 전환율이 낮아지면 가장 먼저 구현을 확인해야 합니다.
전환율은 중요하지만 전체 상황을 알 수는 없습니다. Address Validation 솔루션을 추가하면 입력 시 품질이 낮은 주소를 제출하는 사용자를 포착할 수 있으며 일부 시나리오에서는 주소 캡처에 자연스러운 마찰이 추가될 수 있습니다. 이로 인해 전반적인 전환율이 낮아질 수 있지만 반드시 나쁜 것으로 간주해서는 안 됩니다. 주소 유효성 검사 추가로 인해 완료되지 않은 주문은 배송 환불을 통해 비즈니스에 비용이 발생할 수 있는 품질이 낮은 주소 데이터와 연결되었을 수 있습니다.
2. 품질이 낮은 주소 감소
이러한 경우에 좋은 주소 유효성 검사 솔루션이 진가를 발휘할 수 있습니다. Address Validation을 구현하면 품질이 낮은 주소 데이터가 감소할 것으로 예상됩니다.
새 솔루션을 기존 솔루션과 비교하는 경우 '좋은 주소' 일치율을 비교하고 일치율이 더 높은 서비스를 선택하는 것이 좋습니다. 한 서비스가 다른 서비스보다 더 많은 거짓양성을 제공할 수 있으므로 오해의 소지가 있을 수 있습니다.
대신 주소 데이터 사용의 성공적인 결과를 비교하는 것이 더 효과적인 측정항목입니다. 전자상거래를 예로 들면 주소를 캡처하는 데 원하는 결과는 최종적으로 패키지를 성공적으로 배송하는 것입니다.
빌드
이제 흥미로운 부분입니다. 고객을 위한 새로운 솔루션을 빌드할 차례입니다. 전자상거래 결제에서 Place Autocomplete 및 Address Validation API를 구현하는 데 유용한 가이드가 이미 있습니다. 이 단계를 완료하는 동안 이 가이드를 확인하는 것이 좋습니다.
전자상거래를 위해 특별히 빌드하지 않더라도 많은 정보가 여전히 관련이 있습니다. 특히 Address Validation API의 출력에서 주소 품질을 결정하는 방법에 관한 안내가 그렇습니다.
아키텍처 다이어그램
전자상거래 환경에서 A/B 테스트를 빌드하는 데 사용할 수 있는 컨테이너의 예는 다음과 같습니다.
[실행 환경] Address Validation의 A/B 테스트
아키텍처를 지원하는 주요 시스템의 중요한 애플리케이션, 서비스, 데이터 스토어입니다. 확대).
구현 확인
구현이 잘못된 솔루션은 신뢰할 수 없는 테스트 결과를 생성합니다. A/B 테스트를 실행하기 전에 먼저 소규모 사용자 그룹으로 솔루션을 검증하여 예상대로 작동하는지 확인하는 것이 중요합니다. 이는 내부 QA 테스터 또는 건설적인 의견을 제공할 것으로 신뢰하는 외부 테스터 그룹일 수 있습니다.
실행
천천히 늘리기
솔루션이 검증되었더라도 소규모 사용자 그룹부터 시작하여 테스트를 천천히 늘리는 것이 좋습니다. 이렇게 하면 버그 또는 기타 문제를 조기에 포착하고 많은 사용자에게 영향을 미치지 않고 빠르게 해결할 수 있습니다.
전체 테스트
소규모 사용자 그룹에서 솔루션을 테스트하고 문제를 해결한 후 전체 A/B 테스트로 늘릴 수 있습니다. 반드시 트래픽을 50/50으로 분할할 필요는 없지만 무작위로 선택된 실시간 사용량 세트와 크기가 비슷해야 합니다.
측정항목 캡처
테스트 중에 가설을 뒷받침하는 적절한 데이터가 캡처되는지 확인해야 합니다. 이 프로세스 중에 A/B 테스트 플랫폼을 사용하여 데이터 수집 및 후속 분석을 간소화할 수 있습니다. Google Maps Platform은 유용할 수 있는 API 사용량 측정항목도 수집합니다. 이 페이지에서 Google 보고 도구 사용에 관해 자세히 알아보세요.
다음은 몇 가지 추천 측정항목입니다.
Place Autocomplete
전환율: 이전에는 자동 완성 솔루션이 없었지만 양식의 전환/완료율이 개선되었나요?
도구 상호작용: 이전 솔루션과 비교했을 때 Place Autocomplete와 성공적으로 상호작용하는 사용자가 더 많나요?
Address Validation
배송 성공: 주소 품질로 인해 배송 실패가 감소했나요?
주소 변경: 택배사로부터 받은 주소 변경 수수료가 감소했나요?
주거용 vs 상업용: 주거용 데이터와 상업용 데이터를 캡처하는 데 개선이 있었나요? (일부 시장에서만 제공)
분석
이제 테스트가 끝났으므로 원래 테스트 기준 및 가설에 따라 결과를 분석할 차례입니다. A/B 테스트 플랫폼을 사용하여 프로세스를 완료한 경우 일부 정보를 이미 사용할 수 있습니다.
위의 품질이 낮은 주소 감소 섹션으로 돌아가서 A/B 테스트 플랫폼에서 캡처하지 못한 다른 측정항목을 사용할 수도 있습니다. 이는 다음과 같은 예시 데이터가 있는 테스트 시나리오 간의 배송 실패율일 수 있습니다.
| 솔루션 A | 솔루션 B | |
|---|---|---|
| 배송 실패 | 1.75% | 1.23% |
위의 기본 예시를 보면 이 사용 사례의 경우 솔루션 B가 더 나은 선택이라는 것을 알 수 있습니다.
결론
이 가이드가 A/B 테스트 여정을 시작하는 데 충분한 정보를 제공했기를 바랍니다. 전자상거래 공간의 예시를 사용했지만 동일한 기본 원칙을 전반적으로 적용할 수 있습니다. 비즈니스에서 품질이 좋은 주소 데이터를 보유하는 데 성공적인 결과를 정확히 파악하고 이를 기본 가설로 추적합니다.
추가 읽을거리로 가이드에 언급된 링크를 아래에 다시 포함했습니다.
즐거운 테스트가 되기를 바랍니다.
다음 단계
신뢰할 수 있는 주소로 결제, 배송, 운영 개선 백서를 다운로드하고 Address Validation을 통한 결제, 배송, 운영 개선 웨비나를 시청하세요.
추가 읽을거리:
- 전자상거래 결제를 위한 Address Validation
- Place Autocomplete 문서
- Address Validation API 문서
- Google Maps Platform 보고
참여자
주요 작성자:
헨리크 밸브 | Google Maps Platform 솔루션 엔지니어