分析输出

运行 Meridian GeoX 分析后,您可以使用数值指标和可视化图表来评估实验结果。本页面介绍了 GeoX 框架生成的关键输出指标和可视化图表,可帮助您解读广告系列效果。

运行分析

如需执行分析,请使用您的数据和配置调用 geox.analyze。此函数会返回一个 AnalysisResult 对象,其中包含各种增量指标的点估计值和置信区间。

print("\nAnalyzing experiment results...")
analysis_result = geox.analyze(
    analysis_data, analysis_config
)
# Returns not only point estimates, but also confidence intervals of various incrementality metrics
analysis_result.results

对于每个实验组,结果中返回的 AnalysisMetrics 对象可全面反映实验的影响:

  • 提升效果:绝对增量转化次数。例如,实验组中的干预措施带来的、直接归因于实验的额外销售总额或转化次数。
  • 提升效果百分比:相对增量转化次数,以估算的反事实基准的百分比表示。
  • 单位费用带来的增量转化次数 (iCPD):按营销支出归一化后的增量效率。如果使用收入数据,则等同于增量广告支出回报率 (iROAS)。
  • P 值和置信区间:这些统计显著性度量是使用设计感知型安慰剂推断计算得出的。以上各项适用于前面提到的所有指标。
{
    'cell_1': AnalysisMetrics(
        lift=Estimate(
            point_estimate=26667.484375,
            lower_bound=23734.5703125,
            upper_bound=28317.734375,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        percent_lift=Estimate(
            point_estimate=0.04917562007904053,
            lower_bound=0.04350090026855469,
            upper_bound=0.052402496337890625,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        icpd=Estimate(
            point_estimate=1.3162440061569214,
            lower_bound=1.1714823246002197,
            upper_bound=1.3976964950561523,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        descriptive_metrics=None,
    )
}

geox.plot_analysis 是直观呈现这些结果的强大工具,可将观测数据与估算的反事实绘制成对比图,并跟踪实验过程中的增量效应。

# Creates visualizations of the incrementality effect
geox.plot_analysis(analysis_result)

对于实验中的每个实验组,您都会看到四个图表:

  1. 第一个图表展示了从测试前到测试期间,实验组地理位置的每日转化次数与预测的反事实转化次数。通常,这两个时间序列在测试前期间应紧密对齐,这表明反事实模型拟合良好。不过,如果营销干预对转化具有非零增量影响,那么在测试期间,您应该会看到两个序列开始出现偏差。GeoX 实验中实验组观测到的总转化次数与反事实总转化次数对比
  2. 第二个图表是查看增量效应的另一种方式,通过从观测到的实验组每日转化次数中减去预测的反事实转化次数来计算。在测试前期间,差异预计约为 0,但在测试期间,差异将表明营销干预措施带来的增量效应。GeoX 实验中实验组的时间序列逐点差异
  3. 第三个图表显示的是测试期间的累计增量(通常会随着时间的推移而增长),而不是每日增量效应。GeoX 实验中实验组的累计提升效果时间序列
  4. 第四个图表直观呈现了按营销支出归一化后的累计效应。这可以反映出增量效率,特别是广告系列的 iCPD 指标。GeoX 实验中实验组的累计 ICPD 时间序列