よくある質問

このドキュメントでは、Meridian GeoX に関するよくある質問に対する包括的な回答を提供します。

Meridian GeoX の一般的なコンセプト

GeoX とユーザーベースのリフト測定ソリューションの違いは何ですか？

測定の精度とユーザーのプライバシーのバランスを取るため、GeoX とユーザーベースの測定ソリューションは、根本的に異なるアプローチに依拠しています。

  • GeoX では、オーディエンスを地域別にグループ化し、集計データを使用します。その際、ユーザーレベルのアトリビューションは完全に無視されます。
  • ユーザーベースのリフト測定では、個々の Cookie または広告インプレッションをトラッキングしてコンバージョンを割り当てます。

GeoX を使用するメリットは何ですか？

Meridian GeoX を使用すると、次のメリットが得られます。

  • クロス パブリッシャーのインクリメンタリティ測定: マルチセル設計を設定することで、GeoX では、Google と Google 以外のメディアなど、クロス パブリッシャーのインクリメンタリティを測定できます。これは通常、パブリッシャー固有のユーザーベースのコンバージョン リフトではサポートされていません。
  • オフラインとオムニチャネルの測定: GeoX は、店舗販売や CRM でトラッキングされたコンバージョンなど、オフラインとオムニチャネルの効果を測定するための主要な手法です。地域別の売上データの集計を使用するため、オンラインのユーザーレベルの広告インプレッションをオフラインの店舗取引にリンクするという面倒な作業を行う必要がありません。
  • プライバシーを重視したアプローチ: GeoX は、個人を追跡するのではなく、特定のリージョンにおける集計された、貢献度が割り当てられていないコンバージョンを使用します。このため、GeoX は、Cookie のサポート終了や iOS の制限など、最新のプライバシーに関する課題によって生じる測定ギャップの影響を受けません。

Meridian GeoX ライブラリと従来の Google GeoX ライブラリの比較

Meridian GeoX オープンソース ライブラリと、時間ベースの回帰一致市場（TBRMM）などの他の Google GeoX オープンソース ソフトウェアの違いは何ですか？

Meridian GeoX ライブラリは、包括的で統合されたアップグレードであり、次の機能を提供します。

  • ワンストップ ショップ: 調査設計（テスト前の計画）と分析（テスト後の推論）の両方に対応する単一のライブラリとして機能し、複数の手法をカバーします。GeoX は、時間ベースの回帰（TBR）手法をサポートしています。
  • 設計の直接比較: 異なる調査設計を並べて直接比較し、予算と最小検出可能効果（MDE）の要件に最も適した設計を確認できる compare_designs 機能が含まれています。
  • 最新の統計的アプローチ: JAX に最適化された計算を使用して、候補の迅速な生成と設計を考慮したプラセボ推論を行い、信頼区間の推定における検出力と精度を向上させます。
  • マルチセルと柔軟性: マルチセル設計をネイティブにサポートし、特定の地域を除外したり、地域を強制的に制御したりするなど、柔軟に制約をかけることができます。

Meridian GeoX で、TBRMM と比較して大幅に高い予算と MDE が推奨されているのはなぜですか？

推奨値の違いは、TBRMM と Meridian GeoX の設計思想と検証手法の違いに起因しています。

  • TBRMM は、テスト前のサンプル内適合に基づいて設計検出力を推定します。同じ過去のデータを使用してモデルを適合させ、その分散を推定します。理想的な状況では、この手順を使用して推定された分散は、真の分散に収束します。しかし、テスト前の分散は、実際のテスト中に生じる分散と比較して過小評価されることがよくあります。実際のテスト後の分散が大きくなると、調査の検出力が低下する可能性があります。このような過去の最適化により、予算と MDE の推奨値が楽観的または低くなる場合があります。
  • Meridian GeoX は、設計フェーズでサンプル外検証または公正なデータ分割、およびプラセボテストを組み込むことで、この問題に対処します。モデルの適合に使用されなかった検証期間で設計の安定性を評価することで、テスト後の分散をより現実的に推定し、より保守的な予算と MDE の推奨値を導き出します。

各手法は独自の技術的仮定の下で有効ですが、Meridian GeoX は、より現実的な設計後の変動に対するバッファを組み込むように設計されているため、テストで信頼性の高い結果が得られる可能性が高くなります。

データ要件と取り込み

払い戻しにより負の値を含む可能性がある純収益を、コンバージョン指標として使用できますか？

いいえ。スキーマ検証では、負のコンバージョンが明示的にブロックされることはなく、コンバージョンの合計が正であることのみがチェックされますが、負のコンバージョン値によって候補の生成（貪欲な割り当て）と統計モデリングが妨げられる可能性があります。そのため、総収益や総コンバージョン数など、負でない絶対値を使用することをおすすめします。払い戻し額が大きい場合は、総売上高を分析し、テスト後に過去の純売上高と総売上高の比率を適用してください。

設計フェーズでは、キャンペーンの費用データは常に必須ですか？また、どのようにそのデータを取得すればよいですか？

キャンペーンの費用データの要件は、テストのタイプによって異なります。

  • ゴーダーク テストとヘビーアップ テスト: ベースラインの費用レベルとプロジェクトのテスト予算を計算するには、地域レベルの日別費用データが必須です。これらのテストタイプで費用列がない場合、検証は失敗します。
  • ホールドバック テスト: 設計フェーズで、新規キャンペーンのリリース時にオプションとして使用します。ただし、予算要件を見積もるには、増分コンバージョン単価（CpIC）の参照値を指定する必要があります。

抽出する費用データは、コンバージョンと同じ地域レベル（指定マーケット エリア、州、郵便番号など）で集計された日単位のデータである必要があります。

  • Google 広告: campaign_location_target_report などのレポートを使用して、Google Ads API で地域別の 1 日の費用を抽出します。
  • その他のパブリッシャー: パブリッシャー固有の API またはレポート UI のエクスポートを使用して、地域ターゲット別の 1 日の費用を取得します。

コンバージョン データセットと費用データセットの間で、地域識別子が完全に一致していることを確認します。郵便番号を使用している場合は、検証の一致エラーを防ぐため、抽出とエクスポートの際に先頭のゼロが文字列として保持されるようにしてください。たとえば、郵便番号は「2138」ではなく「02138」にする必要があります。

詳細については、テスト前データを準備するをご覧ください。

日々のコンバージョン データは大きく変動するため、代わりに週次データをアップロードしてノイズを平滑化することはできますか？

いいえ。GeoX では、日次の時系列データが必須です。週単位のデータはサポートされておらず、検証エラーが発生します。日々の変動に対処するには、次の方法を検討してください。

  • テスト期間を延長（4 週間から 6 週間または 8 週間に変更するなど）して、より多くのデータポイントを蓄積する。これにより、MDE を下げられる可能性があります。
  • カートへの追加や登録など、ボリュームが多く、カウントがゼロの日が少ない、ファネル上流のコンバージョン KPI を使用する。
  • ターゲット介入群のサイズまたは最大コンバージョン率を増やす。

Meridian GeoX ライブラリでは、複数の KPI を含めることができますか？

いいえ。Meridian GeoX ライブラリは、1 回の実行につき 1 つのコンバージョン KPI のみをサポートします（データスキーマの conversions 列）。つまり、次のような複数の異なる指標に対して設計を同時に最適化することはできません。

  • セグメント化されたコンバージョン（新規購入者とリピーターを同じ実行で個別のターゲット KPI としてトラッキングするなど）。
  • 複数のコンバージョン アクション（来店と販売、登録と購入を同時にトラッキングするなど）。

KPI ごとに独自の過去のボリューム、トレンド、ボラティリティがあるため、KPI ごとに個別の設計が必要です。KPI ごとに設計エンジンを個別に実行すると、異なる地域分割と予算が推奨される可能性があります。

調査の設計と制約

特定の市場を介入群または対照群に強制的に割り当てることはできますか？また、その場合、調査設計にどのような影響がありますか？

  • 対照群に強制的に割り当てる: Constraints の included_control_geos を使用して、対照群に強制的に割り当てる地域を指定できます。
  • 地域を除外する: Constraints の excluded_geos を使用して、主要な収益市場を保護するシナリオや、メディアの中断を回避するシナリオなどで、テストから地域を完全に除外できます。
  • 介入群に強制的に割り当てる: コアライブラリではサポートされていません。

ビジネス固有の理由や外れ値の地域がない場合、地域を強制的に対照群に割り当てたり、除外したりすると、ランダム化プールが制限され、モデルの適合性が低下する可能性があります。これにより、統計的有意性を達成するための MDE が高くなる可能性があります。

地域ユニットが少なすぎると、GeoX は効果的に機能しないでしょうか？

単一セル設計の場合は、少なくとも 10 の地域を含める必要があります。

  • 10～20 の地域でランダム サンプリングを使用する: 地域ユニットが 20 未満の設計では、層へのクラスタリングが制限されるため、層化サンプリングの効果は低くなります。層化サンプリングで満足のいく設計が得られない場合は、よりシンプルなランダム割り当てで設計する必要があります。
  • 20 を超える地域で層化サンプリングを使用する: 設計に含まれる地域が少ないと、統計的検出力が低くなり、MDE が高くなるか、非常に大きな予算が必要になる可能性があります。最適な結果を得るには、効果的な層化と堅牢なマッチングを可能にするために、より多くの地域（50～100 以上など）を使用することをおすすめします。

予算に柔軟性があり、目標 iCPA または目標 iROAS を入力して、必要な予算を算出したい場合はどうすればよいですか？

これは、テストのタイプによって異なります。

  • ホールドバック テスト: DesignConfig の cost_per_incremental_conversion を使用して、目標 CpIC を入力します。コンバージョンが収益を表す場合、CpIC は 1/iROAS と同等です。次に、ライブラリは、優先される検出力で MDE を検出するために必要な予算を計算します。
  • ゴーダーク テストとヘビーアップ テスト: 目標 CpIC は入力しません。ただし、予算は、選択した介入群の地域における過去の費用に基づいて決定されます。budget_pct 制約を適用できます（例: ゴーダーク テストの場合は -100%、ヘビーアップ テストの場合は増加率）。ライブラリは、その予算で検出できる設計上の想定 CpIC を予測します。

予算と MDE に関する説明

統計的 MDE（テストで検出できるコンバージョンの最小変化率）は、過去の変動性と地域のマッチングのみによって決まります。予算を変更しても、この統計上の上限は変更されません。

MDE は一定ですが、測定可能な効率目標は予算によって変化します。

  • 高予算: 高い（効率の低い）CpIC、または低い（より保守的な）iROAS を検出できます。これにより、パフォーマンスが中程度のキャンペーンで、確定的なテスト結果が得られる可能性が高まります。
  • 低予算: CpIC が非常に低いキャンペーンや iROAS が非常に高いキャンペーンしか測定できません。実際のキャンペーンのパフォーマンスが中程度の場合、テスト結果が不確定になる可能性があります。

必要な予算と MDE 以外に、設計の妥当性を判断する基準はありますか？

以下を使用して、実現可能性を評価します。

  • 決定係数（\(R^2\)）: \(R^2\) 0.8 以上が推奨されます。 \(R^2\) が低い（0.5 未満など）場合、対照群の地域が介入群の地域を適切に予測していないことを示しており、テスト後の分析の信頼性が低くなります。
  • A/A テストの p 値: ライブラリは、プラセボ シミュレーションを使用して設計をフィルタします。選択した設計が A/A テストに合格し（p 値が\(\alpha\)以上）、偽陽性のリスクが最小限に抑えられていることを確認します。
  • MDE の実現可能性: 予測される MDE がビジネス上実現可能である（キャンペーンで MDE よりも大きなリフトを実際に達成できる）ことを確認します。

決定係数の調整

必要な最小 \(R^2\) は、geox.DesignConfig の min_r2 パラメータによって制御されます。デフォルトでは、必要な最小 \(R^2\) 値は 0.8 です。設計検索で 0.8 の有効な候補が返されない場合は、しきい値を 0.75 や 0.70 に調整するなど、柔軟に緩和できます。

      design_config = geox.DesignConfig(
        experiment_duration=datetime.timedelta(days=28),
        experiment_types=geox.ExperimentType.HEAVY_UP,
        methodology=geox.Methodology.TBR,
        min_r2=0.7,  # Adjust threshold if 0.8 yields no candidate designs
        )

テストの実装とテスト後の分析

GeoX を初めて実行する場合、テストを実施するための一般的なガイドラインはありますか？

GeoX を初めて使用する場合は、次の一般的なガイダンスをご覧ください。

  • 設定方法を選択する:
    • プラットフォーム UI（手動設定）: 標準的な調査に最適です。
    • プラットフォーム エディタ（一括設定）: 複雑な調査や複数のキャンペーンを対象とする調査に最適です。これを使用するには、エディタのバックアップ ファイルを生成してインポートする必要があります。
    • Platform API（自動）: エンタープライズ レベルのプログラマティック管理に最適です。郵便番号ターゲティングは API ではサポートされていません。
  • キャンペーンの設定戦略を決定する:
    • 直接変更する（同じキャンペーンを維持する）: 予算に上限がない場合に使用します。地域を直接制限すると、過去の機械学習がそのまま維持されます。
    • 複製する（キャンペーンをコピーして貼り付ける）: キャンペーンの 1 日の予算に上限が設定されている場合は必須です。上限が設定されたキャンペーンで地域を制限するだけでは、アルゴリズムによって、節約された予算が残りの対照群の地域に費やされ、対照群が汚染されます。 複製することで、予算が分離されます。
  • ターゲティングの設定: 所在地ターゲティングを使用して地域分割を厳密に適用し、広告が介入群の地域にのみ配信され、対照群の地域には配信されないようにします。
  • クールダウン期間を計画する: テスト終了後、1～2 週間のクールダウン期間を設けてから、通常運用（BAU）に戻り、遅延コンバージョンを捕捉します。

Google でテストを実施する詳しい手順については、Google 広告ヘルプセンターのキャンペーンの実装ガイドをご覧ください。

GeoX テスト中に、同じキャンペーンでユーザーレベルのテストを有効にしておくことはできますか？

いいえ。コンバージョン リフト測定やブランド効果測定など、ユーザーレベルの測定調査はすべて、テスト期間中に評価対象のキャンペーンで無効にする必要があります。ユーザーレベルの調査では、地域内に非表示のランダム化されたホールドアウトが作成されます。これにより、介入群とコントロール用のデータが汚染され、統計的検出力が低下し、テスト後の分析にバイアスが生じます。

マルチセル設計では、2 つのアクティブな介入群の差の統計的有意性をテストできますか？

いいえ。各介入群セルの結果は、共有対照群に対して個別に評価されます。このライブラリには、2 つのアクティブな介入群の差が有意かどうかをテストするための直接的な統計指標は用意されていません。