調整とは、テスト結果やその他のドメイン知識に基づいて、チャネル固有の事前分布を設定するプロセスです。
メリディアンのデフォルトの事前分布は、適度に情報量が多く、データにはノイズが含まれることがあります。介入群の事前分布を調整すると、厳密なテストや専門的な予測など、実際のビジネス知識に基づいてモデルを「ガイド」できるため、多くの場合役に立ちます。
調整済みの事前分布は、「ガードレール」のようなものだと考えてください。ガードレールの強度を抑えたり、ガードレール自体を撤去（無情報事前分布の形式）したりしたいと思うかもしれませんが、これにはリスクがあり、モデルの結果の質の低下につながる可能性があります。詳しくは、フラットな事前分布と正則化をご覧ください。
たとえば、事前分布の強さが十分でない場合、費用が少ないチャネルで大きな収益が生み出されているとモデルで推定されることがあります。事前分布を調整すると、モデルの推定値を現実的な範囲に誘導できます。
事前仮説を策定する
事前分布の調整は正確な計算ではなく、データとドメイン知識および主観的な判断を組み合わせたものです。
指標を選択したら、調整に進むことができます。調整を行う際は、次の点を考慮してください。
インクリメンタリティ テストを使用する
インクリメンタリティ テストは、直感を形成するための最も強力な基盤と言えるかもしれませんが、テスト結果を事前分布に変換することは、正確な公式ではありません。
テストに基づいて事前分布を設定する
テスト結果を事前分布に変換する単一の公式はありません。ベイズ推定における事前知識はより広範に定義されており、定式化された計算である必要はありません。1 つのテスト結果を厳密に適用するのではなく、複数のテスト結果やその他のドメイン知識などのさまざまな証拠と、それらの不確実性を組み合わせて、1 つの事前分布を作成することができます。
よく利用される手法に、テストの点推定値を事前分布の平均値として使用し、その標準誤差を事前分布の標準偏差として使用するものがあります。
メリディアンのベイズ フレームワークを使用すると、1 つのテスト結果を厳密に適用するのではなく、複数のテストの結果やその他のドメイン知識などのさまざまな証拠と、それらの不確実性を慎重に組み合わせて、1 つの事前分布を作成できます。
テストの ROI と MMM の ROI
統計用語で言うと、テストと MMM ではエスティマンドと測定目標、つまり、ROI の定義が異なります。
テストで測定した ROI と MMM で測定した ROI が完全に一致することはめったにありません（統計用語で言うと、テストと MMM ではエスティマンドが異なります）。テストは常に、期間、地域、キャンペーン設定など、テストの特定の条件に関連しています。
テスト結果から関連性の高い情報を得ることができますが、テスト結果を MMM の事前分布に変換する場合、テストの標準誤差を超える不確実性が生じることにご留意ください。
関連性に関する考慮事項
過去のテストを使用する場合は、その関連性を慎重に検討する必要があります。テスト結果を事前分布の計算に使用する前に、以下の点について考えてみてください。
- タイミング: テストは、MMM データの対象期間前、期間中、または期間後に実施しましたか？異なる期間の結果は、直接適用できない場合があります。
- 期間: テストは、マーケティングの長期的な効果を把握するのに十分な期間実施しましたか？短期間のテストでは、期間が十分でない可能性があります。
- 複雑さ: テストに複数のチャネルが含まれている場合、個々のチャネルのパフォーマンスに関する明確な分析情報を得るのが難しいことがあります。
- エスティマンドの違い: MMM の反事実的条件法は費用ゼロですが、一部のテストでは、費用の削減など、異なるベースラインに対する ROI が定義される場合があります。
- 人口の違い: テストのターゲットには、MMM で考慮されるのと同じ人口を設定しましたか？
ドメイン知識と直感を使用する
可能な場合は、できるだけドメイン知識を使って事前分布を計算してください。事前分布の設定とは、各マーケティング チャネルのパフォーマンスの妥当な値の範囲を直感的に定義することです。このプロセスでは、ドメイン知識、過去の結果、業種別ベンチマーク、特にインクリメンタリティ テストなど、さまざまなソースから得られた情報を組み合わせて判断を下すことが必要になります。
インクリメンタリティ テストは、直感を形成するための最も強力な基盤と言えるかもしれませんが、テスト結果を事前分布に変換することは、正確な公式ではありません。テストにも制限があり、テストによって異なる結果がもたらされることがあります。ROI 事前分布は、入手可能なすべての情報を統合したものである必要があります。
チャネルのパフォーマンスに関する直感が弱い場合は、弱い事前分布（標準偏差が大きいもの）を設定しても問題ありません。ただし、直感が強い場合は、事前分布を通じて組み込むことでモデルが強化され、データ内のノイズの影響を受けにくくなります。
実際には、ほとんどの場合、なんらかの直感を持っています。たとえば、ほとんどのチャネルで、因果 ROI が 50 になる確率はかなり低いと思われるでしょう。長年にわたって多くのテストを実施してきた企業で、特定のチャネルの ROI が 6 を超えたことがない場合は、6 より大きい ROI 値に非常に低い確率を割り当てることで、事前分布にこの事実を反映させる必要があります。手持ちの情報をすべて使って、事前分布を計算してください。
事前分布の設定内容にかかわらず、プロットしてパーセンタイルを確認することをおすすめします。確率が自分の予想と一致しているかどうかを確認してください。たとえば、事前確率分布の 80% が ROI 1.0 を上回っている場合、そのチャネルの収益性に対する事前分布の信頼度を反映しているでしょうか。
信頼度を使って事前分布の標準偏差を設定する
事前仮説の信頼度を使って、事前分布の標準偏差を計算します。類似した ROI ポイントの推定値が得られた複数のテストや、過去の MMM の結果などに基づき、チャネルの効果について強い確信がある場合、事前分布の標準偏差を小さく設定して、強い信頼度を示すことができます。逆に、テスト結果が MMM にどの程度つながるか懐疑的な場合は、より大きな標準偏差を使って、その不確実性を反映できます。なお、事前分布は厳密な制約ではなく、出発点にすぎません。データが事前分布と矛盾する強力な証拠を示している場合、モデルはそれに応じて調整され、事前分布の標準偏差によって、初期の仮説とデータの証拠に与えられる重みが決まります。
フラットな事前分布と正則化
メリディアンでは、情報事前分布を正則化の数学的形式と見なすとよいでしょう。正則化は、ノイズが多いデータに対するモデルの過学習を防ぐために追加の情報や制約を導入する、統計モデリングの手法です。
リッジ回帰やラッソ回帰などの一般的な正則化手法では、通常、推定値をゼロに近づけることで制約します。メリディアンのベイズ フレームワークでは、事前分布自体を使用して正則化を行うことで、より柔軟なアプローチを取ることができます。情報事前分布では、ゼロをデフォルトに設定するのではなく、ビジネスの知識や過去のデータに基づく現実的な値の範囲に収まるようにモデルを正則化します。
事前分布では、データが限られている場合や、明確なシグナルがない場合に、必要な数学的アンカーが得られるため、モデルを正則化する際に事前分布に依存することは特に重要です。事前テストを実施していないチャネルに対して、フラットな無情報事前分布を使いたくなるかもしれませんが、そうするとこの安定化効果が失われ、分散が大きくなったり、信頼性の低い推定値につながったりする可能性があります。過去のテスト結果やビジネス上の直感がない場合は、メリディアンのデフォルトの事前分布から始めましょう。これらのデフォルト値は、モデルを効果的に正則化する適切な出発点となります。最適な正則化の度合いを見極めるには、多くの場合、さまざまな正則化の強さでサンプル外のモデルの適合度をチェックする反復的なプロセスが必要になります。
コードの例
次の例は、メリディアン内で事前分布を定義して使用する方法を示しています。
例: 対数正規事前分布定義の基礎を直感とするかテストとするか
メリディアンには、テストデータや事前分布に関するその他の知識に基づいて対数正規分布を構築するためのヘルパー関数が 2 つあります。
prior_distribution.lognormal_dist_from_mean_std: 指定された平均値と標準偏差から対数正規分布を構築します。たとえば、テストの点推定値と標準誤差を使用できます。prior_distribution.lognormal_dist_from_range: 指定された確率質量（95% など）が特定の下限と上限の範囲内に収まる対数正規分布を構築します。たとえば、テストの 95% の信頼区間を使用できます。
対数正規事前分布を直感またはテストに基づいて定義する方法については、こちらのページをご覧ください。
例: テスト結果に基づいて ROI の調整をチューニングする
テスト結果に基づいて ROI 事前分布を設定する方法については、有料メディアの事前分布を設定するをご覧ください。
事前分布をプロットして直感と一致していることを確認する
カスタム事前分布、特に ROI 事前分布をプロットして可視化することをおすすめします。これにより、分析に進む前に、カスタム事前分布が期待値と一致しているかどうかを再確認できます。
介入群の事前分布の調整に関するその他の考慮事項
このセクションでは、介入群の事前分布の調整に関するその他の考慮事項について説明します。
ROI の調整期間を考慮する
事前分布情報が特定の期間にのみ関連する場合は、ModelSpec で roi_calibration_period 引数を使用することを検討してください。ただし、可能な限り、モデリングの全期間に事前分布を設定することをおすすめします。この事前分布を設定するには、テストやドメイン知識など、利用可能なすべての情報を使用する必要があります。詳しくは、費用対効果の調整期間の設定をご確認ください。
事前分布と事後分布の変化を把握する
事前分布と事後分布間の分布の変化を比較することで、モデルがデータから学習しているかどうか、または調整した事前分布から強く影響を受けているかどうかを判断できます。
詳しくは、メリディアンのモデリング後の品質チェックで事前分布と事後分布の変化をご確認ください。