本文档介绍了对 Google Maps Platform 地点自动补全 API 和地址验证 API 执行 A/B 测试时要考虑的技巧。
使用地点自动补全 API 和地址验证 API 有以下几个好处：
- 改善客户体验：通过实时为客户提供关于地址和地点的建议，您可以帮助他们更快速、更轻松地完成结账。这样可以带来更好的客户体验。
- 提高数据准确性：地点自动补全和地址验证 API 可帮助您提高客户数据的准确性。这在电子商务中尤为重要，因为准确的地址数据是成功递送包裹的依据。
若要改善地址质量，可以运行 A/B 测试，评估哪种验证解决方案最能满足您的需求。这样，您就有机会从定量角度确定最适合您的应用场景的产品。
A/B 测试是一种将网页或应用的两个版本进行相互比较的方式。这是一种对照实验，用于确定改变变量对可衡量结果的影响。
若要执行 A/B 测试，请为网页或应用创建两个版本，一个作为对照组，另一个作为可衡量的变化。然后向不同的用户展示这些版本，并衡量他们与这些版本的互动情况。效果更好的版本胜出。
系统架构概览
我们来看一个电子商务用例中的 A/B 测试地址验证。下面的架构图展示了客户如何与商务体验进行互动，让您可以确定更有效的验证策略。
[系统上下文] A/B Testing 地址验证
对 Address Validation API 的值进行 A/B 测试时所涉及的系统。
A/B 测试流程
考虑整个 A/B 测试流程时，需要考虑四个阶段。
- 准备 - 确定测试要求、范围和时间表。
- 构建 - 在运行测试的环境中实现地点自动补全和地址验证 API。
- 运行 - 在测试运行期间收集指标，直至获得显著结果或时间结束。
- 分析 - 将结果与假设进行比较，并确定后续步骤。
下面我们将逐一介绍这三项功能。
准备时间
确定 A/B 测试要求
初始发现
请思考以下问题：您为什么要添加或更改地址验证服务提供商？例如，使用 Google 地图地点自动补全功能：
- 节省时间：您无需输入地点的整个名称，只需开始输入，系统就会显示相关建议。
- 减少错误：如果您拼错地点名称，Google 地图地点自动补全功能仍会建议正确的地点。
进行验证有很多好处，包括：
- 提高递送率：地址验证功能可确保将邮件和包裹寄送到正确的地址，从而帮助您提高递送率。这可以为企业节省时间和金钱，并提高客户满意度。
- 提高数据质量：地址验证可通过识别和更正地址中的错误，帮助提高数据质量。这可以提高营销活动和其他以数据为依据的计划的准确性。
确定假设
确定要测试的假设。以下是两个示例：
1. 转化率
当您添加提前类型的解决方案时，通常转化率会略有提高，这是一个很好的跟踪指标。如果您要从其他提供商更改您的类型超前解决方案，那么转化率应该会持平。如果转化率下降，应首先检查的就是广告植入方式。
转化率很重要，但可能无法反映整体情况。添加地址验证解决方案旨在防止用户在入口处提交质量不佳的地址，并且在某些情况下可能会给信息获取增加一些自然障碍。这可能会导致总体转化率下降，但这并不一定是坏事。因添加地址验证而未完成的订单可能与质量不佳的地址数据相关联，进而导致商家因配送退款而增加成本。
2. 劣质地址数量减少
这才是好的地址验证解决方案真正的亮点。通过实现地址验证，您应该会看到质量不佳的地址数据有所减少。
如果您要将新解决方案与现有解决方案进行比较，可能会很想只比较“良好地址”的匹配率，然后选择匹配率更高的服务。这一结果可能具有误导性，因为一项服务提供的误报可能比另一项服务多。
相反，更具影响力的指标是比较使用地址数据的成功结果。以电子商务为例，获取地址的预期结果是最终成功配送包裹。
构建
现在，该到了激动人心的部分！是时候为您的客户构建新的解决方案了。我们已经有一份便捷指南，介绍了如何在电子商务结账流程中实现地点自动补全和 Address Validation API。我们建议您在完成此步骤时查看相关内容。
即使您不是专门针对电子商务构建的，很多信息仍然具有相关性，尤其是关于根据 Address Validation API 的输出确定地址质量的指南。
架构图
下例显示了可用于在电子商务环境中构建 A/B 测试的容器：
[执行环境] A/B 测试地址验证
关键系统中的重要应用、服务和数据存储，为架构提供支持。（点击可放大）。
验证实现
如果解决方案实施不当，将会产生不可靠的测试结果。在运行 A/B 测试之前，必须先通过一个小用户群组验证解决方案，以确保其按预期运行。测试对象可以是内部 QA 测试人员和/或一组选定外部测试人员，您信任他们并提供建设性反馈。
运行
缓慢增加
即使解决方案通过验证，也最好从少量用户开始，逐步扩大测试规模。这样，系统可以尽早发现错误或其他问题并迅速予以解决，而不会对很大比例的用户造成影响。
完整测试
待一小部分用户对相应解决方案进行测试且所有问题都得到解决后，我们就可以进行全面 A/B 测试了。此比例不一定必须是真正的流量分配比例，而是 50/50，但其规模应该与随机选择的一组实时使用情况相当。
捕获指标
在测试过程中，您应确保捕获到能够支持您的假设的适当数据。在此过程中，您可以使用 A/B 测试平台来简化数据收集和后续分析。Google Maps Platform 还会收集可能会用到的 API 用量指标，您可以查看此页面详细了解如何使用我们的报告工具。
一些建议的指标如下：
地点自动补全
转化率：表单的转化率/完成率是否因之前不提供自动补全解决方案而有所提高？
工具互动：与之前的解决方案相比，是否有更多用户能够成功与地点自动补全功能互动？
Address Validation
递送成功：递送失败是否因地址质量而有所减少？
地址变更：您向快递公司收取的地址变更费用数量是否有所减少？
住宅与商业：住宅和商业数据在获取方面是否有改进？（仅限部分市场）
分析
现在测试结束，是时候根据原来的测试标准和假设分析结果了。如果您是通过 A/B 测试平台来完成此流程的，那么或许已经可以提供了一些信息。
返回上文中的“减少质量不佳的地址”部分，您也可以使用 A/B 测试平台可能未捕获到的其他指标。这可以是不同测试场景之间的递送失败率，示例数据如下：
| 解决方案 A | 解决方案 B | |
|---|---|---|
| 提交失败 | 1.75% | 1.23% |
查看上面的基本示例，显然对于此用例，解决方案 B 是更好的选择。
总结
希望本指南能为您提供足够的信息，帮助您开始 A/B 测试之旅！虽然它使用了电子商务领域的示例，但同样的基本原则可以广泛应用。在企业中确定拥有高质量地址数据的成功结果，并将其作为主要假设进行跟踪。
我们在下面再次列出了本指南中提到的链接，建议您进一步阅读。
祝您测试顺利！
后续步骤
下载利用可靠地址改善结账、配送和运营 白皮书，并查看利用地址验证改进结账、配送和运营 在线讲座。
建议深入阅读：
贡献者
主要作者：
Henrik Valve | Google Maps Platform 解决方案工程师