分析出力

Meridian GeoX 分析を実行すると、数値指標と可視化の両方を使用してテストの結果を評価できます。このページでは、GeoX フレームワークによって生成される主な出力指標とグラフについて説明します。これらは、キャンペーンのパフォーマンスを解釈するのに役立ちます。

分析を実行する

分析を実行するには、データと構成を指定して geox.analyze を呼び出します。この関数は、さまざまなインクリメンタリティ指標の点推定値と信頼区間を含む AnalysisResult オブジェクトを返します。

print("\nAnalyzing experiment results...")
analysis_result = geox.analyze(
    analysis_data, analysis_config
)
# Returns not only point estimates, but also confidence intervals of various incrementality metrics
analysis_result.results

各介入群セルで、結果に含まれる AnalysisMetrics オブジェクトが返され、テストの影響の包括的なビューが提供されます。

  • リフト: コンバージョンの絶対的な増分。たとえば、介入群セルでの介入によって発生した追加の販売数やコンバージョン数の合計など、テストに直接起因する数値がこれに該当します。
  • リフト率: 推定された反事実的ベースラインに対する相対的なコンバージョンの増分をパーセンテージで表したもの。
  • 1 ドルあたりのコンバージョンの増分（iCPD）: マーケティング費用で正規化した増分効率。収益データが使用されている場合は、広告費用対効果の増分と等しくなります。
  • p 値と信頼区間: これらの統計的有意性の指標は、設計を考慮したプラセボ推論を使用して計算されます。上述のすべての指標に適用されます。
{
    'cell_1': AnalysisMetrics(
        lift=Estimate(
            point_estimate=26667.484375,
            lower_bound=23734.5703125,
            upper_bound=28317.734375,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        percent_lift=Estimate(
            point_estimate=0.04917562007904053,
            lower_bound=0.04350090026855469,
            upper_bound=0.052402496337890625,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        icpd=Estimate(
            point_estimate=1.3162440061569214,
            lower_bound=1.1714823246002197,
            upper_bound=1.3976964950561523,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        descriptive_metrics=None,
    )
}

これらの結果を可視化するには、geox.plot_analysis を使用します。この強力なツールにより、観測されたデータを推定された反事実に対してプロットし、テストの過程で増分効果を追跡できます。

# Creates visualizations of the incrementality effect
geox.plot_analysis(analysis_result)

テストの各介入群セルに 4 つのグラフが表示されます。

  1. 1 つ目のグラフは、テスト前期間からテスト期間までの、介入群の地域における 1 日あたりのコンバージョン数と、予測された反事実を示しています。通常、2 つの時系列はテスト前期間においてほぼ一致します。これは、反事実モデルの適合性が良好であることを示しています。ただし、マーケティング介入がコンバージョンにゼロ以外の増分効果をもたらす場合は、テスト期間中に 2 つの時系列の間に偏差が見られるようになります。GeoX テストの介入群セルにおける、観測された合計コンバージョン数と反事実の合計コンバージョン数
  2. 2 つ目のグラフは、観測された介入群の日別コンバージョン数と予測された反事実を差し引くことで、増分効果を別の方法で確認するものです。テスト前期間では、この差はほぼ 0 になると予想されますが、テスト期間では、マーケティング介入によって生じた増分効果が反映されます。GeoX テストの介入群セルの時系列における点ごとの差
  3. 3 つ目のグラフは、テスト期間中の累積インクリメンタリティを示しています。通常、これは日々の増分効果ではなく、時間の経過とともに増加することが想定されます。GeoX テストの介入群セルの累積リフト時系列
  4. 4 つ目のグラフは、マーケティング費用で正規化した後の累積効果を可視化したものです。これにより、広告キャンペーンのインクリメンタリティ効率（特に iCPD 指標）が示されます。GeoX テストの介入群セルの累積 ICPD 時系列