设计方法

Meridian GeoX 框架优先采用以数据为依据的稳健实验设计方法,旨在最大限度地减少方差并降低广告客户预算要求。分层抽样在标准随机抽样的基础上更进一步,旨在生成一系列候选设计方案,从而确保实验组和对照组在实验开始前具备更高的可比性。在分层抽样之后,设计搜索流程将对候选方案进行筛选,并最终确定能够实现最大统计功效的设计方案。

分层抽样

Meridian GeoX 采用分层抽样设计,旨在解决样本量受限时固有的方差和高预算问题。

  • 分层过程:该过程将地理单元(地理区域)划分为不同的“层”。这些“层”是由响应量、趋势和季节性等共同特征定义的同质聚类。
  • KPI 特征提取:在聚类之前,系统会使用统计指标(包括均值、变异系数 [CV]、斜率、自相关 [滞后阶数为 1] 和动态时间规整 [DTW])对 KPI 序列进行特征提取。
  • 聚类和随机分配:k-means 算法可以根据这些特征将地理区域划分为不同的层。默认聚类数量为 4。随后,在每个聚类内部,将各个地理区域随机分配到实验组或对照组。请注意,这种随机分配方式也可自然扩展到多单元研究设计。

分层抽样设计的图表。

随机抽样

Meridian GeoX 支持随机抽样,即完全不考虑聚类结构,直接将地理单元随机划分到实验组和对照组。虽然通常更推荐使用分层抽样方法而非随机抽样,但在地理区域数量较少的 GeoX 实验中,随机抽样则变得必不可少。

设计搜索流程

Meridian GeoX 采用严密的设计搜索流水线,能够从分层抽样方法生成的一系列潜在设计中识别出最优的实验设计候选方案。

评估指标

Meridian GeoX 会评估以下指标,从而密切监控设计质量:

  • 样本外拟合:用于指示模型与设计是否拟合,并通过样本外 R 平方统计量进行评估,以筛选出候选设计方案。
  • A/A 稳健性:通过 A/A 模拟进行验证,即检查 p 值以防止出现具有统计显著性的 A/A 偏差。
  • 统计功效:通过相对升幅的最低可检测效果 (MDE) 进行衡量。GeoX MDE 提升百分比与分析方法的选择无关,其计算公式如下:

    $$MDE_{\,lift} = Min\:incremental\:conversion\:/\:Baseline\:control \:conversion\\= SE_{\,lift} \times (Z_{1-\alpha/2}\:+\:Z_{1-\beta})\:/\: Baseline\:control\:conversion$$

    在此公式中, \( SE_{\,lift} \) 表示绝对升幅的标准误差,而 \( \alpha \) 和 \( 1-\beta \) 分别代表显著性水平和目标统计功效。默认情况下,系统会考虑双侧假设检验。 \( Z \) 对应于标准正态分位数。

  • 预算:将统计功效转化为实现功效目标所需的财务投入。

搜索流水线

设计搜索流程会将整个测试前数据划分为初始训练期、验证期和最终选择期。然后,该流程会遵循六个依次执行的步骤来最终确定设计方案。如需了解依次执行的搜索流水线步骤,请参阅本文档中的图表:

设计搜索工作流的图表。