本文档介绍了在对 Google Maps Platform 地点自动补全和 Address Validation API 进行 A/B 测试时需要考虑的技术。
使用地点自动补全和 Address Validation API 的一些好处如下：
- 改善客户体验： 通过为客户提供地址和地点的实时建议，您可以帮助他们更快速、更轻松地完成结账。这有助于改善客户体验。
- 提高数据准确性： 地点自动补全和 Address Validation API 可帮助您提高客户数据的准确性。这在电子商务中尤为重要，因为包裹的成功送达取决于准确的地址数据。
如需提高地址质量，请运行 A/B 测试，以评估哪种验证解决方案最能满足您的需求。这样，您就有机会定量确定哪种产品最适合您的使用场景。
A/B 测试是一种比较两个版本的网页或应用的方法。它是一种受控实验，用于确定变量的更改对可衡量结果的影响。
如需执行 A/B 测试，请创建两个版本的网页或应用，一个作为对照组，另一个进行可衡量的更改。然后，您向不同的用户展示这些版本，并衡量他们与这些版本的互动情况。效果更好的版本就是胜出者。
系统架构概览
我们来看一个电子商务应用场景中的地址验证 A/B 测试。下图中的架构图显示了客户如何与您的商务体验互动，以便您确定更有效的验证策略。
[系统上下文] 地址验证 A/B 测试
在对 Address Validation API 的价值进行 A/B 测试时涉及的系统。
A/B 测试流程
在考虑整体 A/B 测试流程时，需要考虑四个阶段。
- 准备 \- 确定测试要求、范围和时间表。
- 构建 - 在环境中实现地点自动补全和 Address Validation API，以便针对该环境运行测试。
- 运行 - 在测试运行期间收集指标，直到获得显著结果或时间到期为止。
- 分析 - 将结果与假设进行比较，并确定后续步骤。
接下来，我们将依次介绍这些阶段。
准备
确定 A/B 测试要求
初步发现
问问自己：为什么要添加或更改地址验证提供商？例如，使用 Google 地图地点自动补全：
- 节省时间： 您无需输入地点的完整名称，只需开始输入，即可看到建议。
- 减少错误： 如果您拼错地点的名称，Google 地图地点自动补全仍会建议正确地点。
地址验证有很多好处，包括：
- 提高送达率： 地址验证有助于确保邮件和包裹发送到正确的地址，从而提高送达率。这可以为企业节省时间和金钱，并提高客户满意度。
- 提高数据质量： 地址验证可以识别和纠正地址中的错误，从而提高数据质量。这有助于提高营销活动和其他数据驱动型计划的准确性。
确定假设
确定要测试的假设。以下是两个示例：
1. 转化率
添加预输入解决方案后，转化率通常会略有提高，这是一个值得跟踪的指标。如果您要将预输入解决方案从其他提供商更改为 Google，则应预期转化率保持不变。如果转化率下降，首先要检查的是实现。
转化率很重要，但它可能无法说明整体情况。添加地址验证解决方案旨在阻止用户在输入时提交质量较差的地址，并且在某些情况下可能会给地址捕获增加一些自然摩擦。这可能会导致整体转化率下降，但这不一定是一件坏事。由于添加地址验证而未完成的订单可能与质量较差的地址数据有关，这些数据会导致企业因退款而产生费用。
2. 质量较差的地址数量减少
在这一方面，出色的地址验证解决方案可以真正发挥作用。通过实现地址验证，您应该会发现质量较差的地址数据有所减少。
如果您要将新解决方案与现有解决方案进行比较，可能很想只比较“优质地址”匹配率，然后选择提供较高匹配率的服务。这可能会产生误导，因为一项服务可能比另一项服务提供更多误报。
相反，更具影响力的指标是比较使用地址数据的成功结果。以电子商务为例，捕获地址的预期结果是最终成功送达包裹。
构建
现在到了激动人心的部分！是时候为您的客户构建新的解决方案了。我们已经提供了一份实用指南，用于在电子商务结账流程中实现地点自动补全和Address Validation API。我们建议您在完成此步骤时查看该指南。
即使您不是专门为电子商务构建解决方案，其中的许多信息仍然相关，尤其是关于如何根据 Address Validation API 的输出来确定地址质量的指南。
架构图
以下是在电子商务环境中构建 A/B 测试时可以使用的容器示例：
[执行环境] 地址验证 A/B 测试
关键系统中为架构提供支持的重要应用、服务和数据存储区。（点击可放大）。
验证实现
实现不佳的解决方案会产生不可靠的测试结果。在运行 A/B 测试之前，首先要向一小部分用户组验证解决方案，以确保其按预期运行。这些用户可以是内部质量保证测试人员，也可以是您信任的外部测试人员，他们会提供建设性的反馈。
运行
慢慢提高发送量
即使解决方案已通过验证，最好还是慢慢提高测试量，先从一小部分用户开始。这样做可以尽早发现 bug 或其他问题并快速解决，而不会影响大部分用户。
完整测试
一小部分用户测试解决方案并解决所有问题后，我们就可以逐步进行完整的 A/B 测试。这不一定需要真正将流量分成 50/50，但应与随机选择的一组实际使用情况在规模上具有可比性。
捕获指标
在测试期间，您应确保捕获适当的数据来支持您的假设。在此过程中，您可以使用 A/B 测试平台来简化数据收集和后续分析。Google Maps Platform 还会收集 API 使用情况指标，这些指标可能很有用，您可以查看此页面，详细了解如何使用我们的报告工具。
以下是一些建议的指标：
地点自动补全
转化率： 表单的转化率/完成率是否比之前没有自动补全解决方案时有所提高？
工具互动： 与之前的解决方案相比，是否有更多用户成功与地点自动补全互动？
Address Validation
送达成功率： 由于地址质量问题而导致的送达失败次数是否有所减少？
地址更改： 您从快递公司收到的地址更改费用是否有所减少？
住宅地址与商业地址： 捕获住宅地址与商业地址数据的能力是否有所提高？（仅限部分市场）
分析
现在测试已结束，接下来需要根据原始测试标准和假设分析结果。如果您使用了 A/B 测试平台来完成该流程，则可能已经获得了一些信息。
回到上面的质量较差的地址数量减少部分，您还可以使用 A/B 测试平台可能未捕获的其他指标。这可能是测试场景之间的送达失败率，例如以下数据：
| 解决方案 A | 解决方案 B | |
|---|---|---|
| 送达失败率 | 1.75% | 1.23% |
从上面的基本示例可以看出，对于此使用场景，解决方案 B 是更好的选择。
总结
我们希望本指南能为您提供足够的信息，帮助您开始 A/B 测试之旅！虽然本指南使用了电子商务领域的示例，但同样的基本原则可以普遍适用。找出您的业务中拥有优质地址数据的成功结果，并将其作为您的主要假设进行跟踪。
我们在下面再次提供了指南中提及的链接，作为建议的延伸阅读材料。
祝您测试顺利！
后续步骤
下载《通过可靠的地址改善结账、配送和运营》 白皮书，并观看《通过地址验证改善结账、配送和运营》 网络研讨会。
建议的延伸阅读材料：
贡献者
主要作者：
Henrik Valve | Google Maps Platform 解决方案工程师