常见问题解答

本文档针对 Meridian GeoX 的常见问题提供了全面的解答。

Meridian GeoX 一般性概念

GeoX 与基于用户的提升效果衡量解决方案有何区别？

为了兼顾衡量精确度与用户隐私，GeoX 和基于用户的效果衡量解决方案依赖的方法从根本上有所不同：

  • GeoX 按地理区域对受众群体进行分组，并使用汇总数据，完全忽略用户级归因。
  • 基于用户的提升效果研究会跟踪各个 Cookie 或广告展示，以归因转化。

为什么要使用 GeoX？

使用 Meridian GeoX 具有以下优势：

  • 跨发布商增量衡量：通过设置多实验组设计，GeoX 支持衡量跨发布商的增量效果（例如 Google 媒体与非 Google 媒体）。相比之下，针对特定发布商且基于用户的转化量提升情况研究通常不支持此类衡量。
  • 线下和全渠道衡量：GeoX 是衡量线下和全渠道影响（例如实体店销售额和 CRM 跟踪的转化）的主要方法。由于它使用的是汇总的区域销售数据，因此避免了关联线上用户级广告展示与线下实体店交易的难题。
  • 注重隐私保护的长效型方法：GeoX 依赖于特定区域中未归因的汇总转化数据，而不是跟踪个人。因此，GeoX 不会受到 Cookie 弃用、iOS 限制等现代隐私保护举措导致的衡量数据空缺的影响。

Meridian GeoX 对比旧版 Google GeoX 库

Meridian GeoX 开源库与其他 Google GeoX 开源软件（例如基于时间的回归匹配市场 [TBRMM]）有何区别？

Meridian GeoX 库是一项全面、统一的升级，具有以下功能和特点：

  • 一站式平台：作为单一库，适用于研究设计（测试前规划）和分析（测试后推断），涵盖多种方法。GeoX 支持基于时间的回归 (TBR) 方法。
  • 直接比较设计：包含 compare_designs 功能，可直接并排比较不同的研究设计，以了解哪种设计最符合预算和最小可检测效应 (MDE) 要求。
  • 现代统计方法：使用 JAX 优化计算，可快速生成候选集并进行设计感知型安慰剂推断，从而提高置信区间估计的统计功效和精确度。
  • 多实验组和灵活性：原生支持多实验组设计，并允许灵活的限制条件，例如排除特定地理区域或强制将地理区域分配到对照组。

与 TBRMM 相比，为什么 Meridian GeoX 建议的预算更高、MDE 更大？

建议的差异源于 TBRMM 和 Meridian GeoX 的不同设计理念和验证技术：

  • TBRMM 会根据测试前样本内拟合来估算设计的统计功效。 使用相同的历史数据来拟合模型并估计其方差。在理想情况下，使用此过程估算的方差应收敛到其真实方差。不过，在实际操作中，与实际测试期间的情况相比，测试前阶段的方差往往会被低估。如果实际的测试后方差较高，研究最终可能会出现统计功效不足的情况。因此，这种基于历史数据的优化可能会导致预算和 MDE 建议过于乐观，或者数值偏低。
  • Meridian GeoX 通过在设计阶段纳入样本外验证或诚实数据拆分以及安慰剂测试，解决了这一问题。通过在未用于模型拟合的验证期评估设计的稳定性，该方法可以更真实地估计测试后方差，从而提供更保守的预算和 MDE 建议。

每种方法在其自身的技术假设下都是有效的，但 Meridian GeoX 旨在针对更现实的设计后波动性建立缓冲，确保实验有很高的概率提供确定性结果。

数据要求和数据注入

我可以使用净收入（可能因退款而包含负值）作为转化指标吗？

不能。虽然架构验证不会明确阻止负的转化值，而只会检查转化总数是否为正，但负的转化值可能会干扰候选集生成（贪婪分配）和统计建模。建议使用非负的绝对值，例如总收入或总转化次数。如果退款金额较大，请根据总销售额进行分析，并在测试后应用历史净销售额与总销售额之比。

在设计阶段，广告系列支出数据是否始终是必需的？如何获取这些数据？

广告系列支出数据要求取决于您的实验类型：

  • 停投和增投实验：必须提供每日地理区域级支出数据，才能计算基准支出水平并推算测试预算。如果这些实验类型缺少支出列，则验证将失败。
  • 隔离实验：对于全新发布的广告系列，在设计阶段可不提供支出数据。不过，您应提供每次增量转化费用 (CpIC) 参考值，以估算预算要求。

您提取的支出数据必须是每日数据，并且必须在与转化相同的地理区域级别（例如特定媒体市场区域 [DMA]、州/省级行政区或邮政编码）进行汇总。

  • Google Ads：通过 campaign_location_target_report 等报告，使用 Google Ads API 提取每日地理区域支出。
  • 其他发布商：使用发布商专用 API 或报告界面导出功能，按目标地理区域检索每日支出。

确保转化数据集和支出数据集中的地理区域标识符完全匹配。如果您使用的是邮政编码，请确保在提取和导出过程中将前导零保留为字符串，以防止验证匹配失败。例如，您的邮政编码应为“02138”，而不是“2138”。

如需了解详情，请参阅准备测试前数据。

我们的每日转化数据波动很大。我们能否改为上传每周数据，以消除噪声？

不能。GeoX 严格要求使用每日时间序列数据。不支持每周数据，并且会触发验证错误。为了应对每日波动，请考虑：

  • 延长测试时长（例如从四周改为六周或八周），以积累更多数据点，从而可能降低 MDE。
  • 使用更浅层的转化 KPI（例如“加入购物车”或“注册”），这类 KPI 的数据量更大，且无转化天数更少。
  • 增加目标实验组规模或最大转化百分比。

Meridian GeoX 库是否支持包含多个 KPI？

不支持。Meridian GeoX 库每次运行仅支持一个转化 KPI，即数据架构中的 conversions 列。这意味着，您无法同时针对多个不同的指标优化设计，例如：

  • 细分转化，例如在同一运行中将新买家和回头客作为单独的目标 KPI 进行跟踪。
  • 不同的转化操作，例如同时跟踪实体店光顾和销售，或同时跟踪注册和购买。

每个 KPI 都需要单独的设计，因为每个 KPI 都有自己的历史数量、趋势和波动性。如果您针对每个 KPI 分别运行设计引擎，各次运行推荐的地理区域划分和预算可能会各不相同。

研究设计和限制条件

我们可以强制将特定市场分配到实验组或对照组吗？这会对研究设计产生什么影响？

  • 强制分配到对照组：您可以使用 Constraints 中的 included_control_geos 指定要强制分配到对照组的地理区域。
  • 排除地理区域：在某些场景下，例如为了保护关键收入市场或避免媒体投放受到干扰，您可以使用 Constraints 中的 excluded_geos 将特定地理区域完全排除在实验之外。
  • 强制分配到实验组：核心库不支持此功能。

除非有特定的业务原因或地理区域存在离群点，否则强制将地理区域分配到对照组或将其排除会缩小随机化池的范围，并可能降低模型的拟合度。这可能会导致需要更大的 MDE 才能达到统计显著性。

我的地理区域单元是否太少，导致 GeoX 无法有效发挥作用？

对于单实验组设计，您应至少包含 10 个地理区域。

  • 对 10-20 个地理区域使用随机抽样：在地理区域单元少于 20 个的设计中，分层抽样的效果较差，因为分层聚类会受到限制。如果分层抽样无法为您提供满意的设计，您应采用更简单的随机分配方式进行设计。
  • 对 20 个以上的地理区域使用分层抽样：如果设计中的地理区域数量较少，统计功效可能会较低，从而导致 MDE 较高或需要非常高的预算。为获得最佳结果，建议使用较多的地理区域（例如 50 到 100 多个），以便进行有效的分层和稳健的匹配。

如果我的预算灵活，并且希望输入目标增量每次转化费用 (iCPA) 或增量广告支出回报率 (iROAS) 并获得所需预算，该怎么办？

这取决于您的实验类型：

  • 隔离实验：您可以使用 DesignConfig 中的 cost_per_incremental_conversion 输入目标 CpIC。如果转化代表收入，则 CpIC 相当于 1/iROAS。然后，该库会计算出，要以首选统计功效检测到 MDE，需要多少预算。
  • 停投和增投实验：您无需输入目标 CpIC。不过，预算由所选实验组地理区域的历史支出决定。您可以应用 budget_pct 限制条件（例如，对于停投实验，应用 -100%；对于增投实验，应用一定的百分比增幅），该库会推算在相应预算下可检测到的设计隐含 CpIC。

有关预算和 MDE 的说明

统计 MDE（即实验可检测到的转化次数最小百分比变化）完全由地理区域的历史波动性和匹配情况决定。更改预算不会改变此统计限制。

虽然 MDE 保持不变，但您可以成功衡量的效率目标确实会随预算而变化：

  • 预算较高：可让您检测到较高的、效率较低的 CpIC，或较低的、较为保守的 iROAS。对于表现平平的广告系列，这会提高测试得出明确结论的可能性。
  • 预算较低：限制您只能衡量 CpIC 非常低或 iROAS 非常高的广告系列。如果广告系列的实际效果一般，则测试可能无法得出确定性结果。

除了所需预算和 MDE 之外，我们还应如何确定设计是否可行？

使用以下方法评估可行性：

  • R 平方 (\(R^2\))： \(R^2\) 建议 ≥ 0.8。较低 \(R^2\) （例如小于 0.5）表示对照组地理区域无法很好地预测实验组地理区域，从而导致测试后分析不可靠。
  • A/A 测试 p 值：该库使用安慰剂模拟来过滤设计。确保所选设计通过 A/A 测试（p 值 ≥\(\alpha\)），以最大限度地降低假正例风险。
  • MDE 的可行性：确保预计的 MDE 在业务上可行，也就是说，您认为广告系列实际可以实现高于该 MDE 的提升效果。

R 平方调整

所需的最低 \(R^2\) 由 geox.DesignConfig 中的 min_r2 参数控制。默认情况下，所需的最低 \(R^2\) 值为 0.8。如果设计搜索在 0.8 阈值下未返回任何可行的候选设计，您可以灵活地放宽阈值，例如将其调整为 0.75 或 0.70：

      design_config = geox.DesignConfig(
        experiment_duration=datetime.timedelta(days=28),
        experiment_types=geox.ExperimentType.HEAVY_UP,
        methodology=geox.Methodology.TBR,
        min_r2=0.7,  # Adjust threshold if 0.8 yields no candidate designs
        )

实验实施和测试后分析

如果我是首次运行 GeoX，那么实施实验的一般准则是什么？

对于首次使用 GeoX 的用户，请参阅以下一般指南：

  • 选择设置路径：
    • 平台界面（手动设置）：最适合标准研究。
    • 平台编辑器（批量设置）：最适合复杂或多广告系列研究。这需要生成并导入编辑器备份文件。
    • 平台 API（自动化）：最适合企业级程序化管理。请注意，API 不支持邮政编码定位。
  • 确定广告系列设置策略：
    • 直接修改（沿用原广告系列）：适用于预算不设上限的情况。直接限制地理区域可使历史机器学习数据保持不变。
    • 创建副本（复制并粘贴广告系列）：如果广告系列设置了每日预算上限，则必须选择此选项。对于设置了预算上限的广告系列，如果只是限制其地理区域，算法会将节省的预算花在其余对照组地理区域上，从而污染对照组数据。 创建副本可使预算相互独立。
  • 定位配置：严格采用“所在地”定位来应用地理区域划分，以确保广告仅在实验组地理区域投放，并从对照组地理区域中排除。
  • 规划冷却期：测试结束后，请保持 1-2 周的冷却期，然后再恢复到正常业务 (BAU) 状态，以捕获延迟转化。

如需详细了解如何在 Google 中执行实验，请参阅 Google Ads 帮助中心内的广告系列实施分步指南。

在 GeoX 实验期间，我们能否对相同的广告系列保持运行用户级测试？

不能。在实验期间，应停用对受评估广告系列开展的所有用户级衡量研究，例如转化量提升情况研究和品牌提升效果研究。用户级研究会在您的地理区域内创建隐藏的随机隔离组，这会污染实验组和对照组的划分，削弱统计功效，并使测试后分析产生偏差。

多实验组设计是否支持检验两个有效实验组之间差异的统计显著性？

不支持。每个实验组的结果都是根据共享对照组独立评估的。该库不提供直接的统计指标来检验两个有效实验组之间的差异是否显著。