Pour déterminer si l'impact observé est statistiquement significative, Meridian GeoX intègre des méthodes d'inférence robustes pour la méthodologie d'analyse actuelle et future.
Mécanisme d'attribution de Meridian GeoX
Les études GeoX s'appuient sur des algorithmes hautement contraints et optimisés mathématiquement pour déterminer l'attribution géographique. Soit \(Z \in \Omega = \lbrace 0, 1 \rbrace^N\) le vecteur d'attribution du traitement, où \(N\) est le nombre d'unités géographiques incluses dans le test, et soit \(X\) une matrice de covariables de pré-test. Dans le cadre de l'échantillonnage stratifié, \(X\) inclut les volumes de conversions, les tendances et les schémas de saisonnalité historiques. L'algorithme de conception applique généralement une fonction de contrainte ou réduit au maximum une fonction de coût \(C(Z, X)\) pour générer une attribution fortement restreinte :
Il n'est pas nécessaire de sélectionner le minimum exact, car il est fort probable qu'il soit piégé dans une solution de surapprentissage. En revanche, il suffit de sélectionner de manière uniforme une attribution géographique \(Z\) parmi un sous-ensemble valide de conceptions acceptables :
Le problème d'inférence
Pour évaluer l'effet du traitement à l'aide d'estimateurs de causalité (par exemple, la régression temporelle), l'analyse permet de tester l'hypothèse nulle stricte\(H_0:Y_i(1)=Y_i(0)\) pour chaque unité traitée \(i\). Dans le cadre de l'inférence par randomisation exacte, la valeur p représente la probabilité d'observer une statistique de test \(T\) au moins aussi extrême que la valeur observée, calculée sur la base de la distribution de toutes les attributions possibles selon le mécanisme d'attribution réel.
Avantages de l'inférence basée sur la conception
L'inférence basée sur la conception est conçue pour évaluer objectivement la véritable importance des résultats d'incrémentalité dans GeoX. Cette approche résout le problème d'inférence courant selon lequel de nombreuses méthodologies d'inférence conventionnelles (comme le test t ou le test à fenêtre glissante) ne parviennent souvent pas à contrôler le taux de fausses découvertes. Par rapport à ces méthodes, l'inférence basée sur la conception est beaucoup moins susceptible de détecter de faux effets d'incrémentalité significatifs. Pour en savoir plus sur la méthodologie et les résultats, consultez notre article de recherche.
L'inférence basée sur la conception est également supérieure aux méthodes placebo standards, car elle corrige une incohérence fondamentale dans l'évaluation des tests géographiques. Les méthodes standards partent du principe que les zones géographiques de test ont été sélectionnées de manière totalement aléatoire, tandis que la plupart des études GeoX s'appuient sur des algorithmes hautement contraints et mathématiquement optimisés pour déterminer l'attribution géographique.
Comment l'inférence basée sur la conception répond aux limites spécifiques des méthodes standards :
Les tests placebo standards tirent l'attribution \(Z\) de manière uniforme à partir de \(Ω\)(en brassant les libellés de traitement) pour créer une distribution nulle empirique qui reflète le bruit dans l'estimateur. Notez que dans les tests placebo, \(Z\) et\(Ω\) sont tous deux restreints aux seules zones géographiques de contrôle. Toutefois, comme le test standard ignore les contraintes de conception de l'étude, la procédure génère fréquemment de "mauvais découpages", par exemple en comparant un groupe de traitement composé exclusivement de grandes agglomérations à volume élevé à un groupe de contrôle composé de zones géographiques plus petites à faible volume. Ces découpages impossibles à faire correspondre polluent la distribution nulle empirique avec des erreurs massives. Cette imprécision ne fait pas qu'augmenter le taux d'erreur de type I, elle rend également plus difficile la détection d'un véritable lift incrémental.
L'inférence basée sur la conception limite la génération de placebos à la topologie exacte de la conception expérimentale d'origine en tirant l'attribution \(Z\) de manière uniforme à partir de\(\Omega_D\). Les placebos sont générés à l'aide des mêmes fonctions d'objectif, limites de budget et contraintes de conception. Par conséquent, chaque placebo constitue un découpage valide et de haute qualité, et la distribution nulle reflète parfaitement l'incertitude de référence réelle du problème d'inférence. Par rapport à l'approche standard, ce resserrement structurel de la distribution nulle réduit considérablement l'effet minimum détectable (EMD), ce qui augmente votre puissance statistique.
Implémenter l'inférence basée sur la conception
L'implémentation de l'inférence basée sur la conception nécessite une synchronisation formelle entre la phase de conception et l'analyse ultérieure.
Les sections suivantes décrivent les étapes à suivre pour implémenter l'inférence basée sur la conception.
Formaliser le mécanisme d'attribution : \(P(Z \mid X)\)
Le problème d'optimisation traduit vos configurations de conception en une fonction de contrainte programmable. En partant du principe qu'une heuristique d'optimisation, telle que la correspondance gloutonne, est utilisée pour attribuer des unités, soit \(\pi(\cdot)\) un algorithme de conception qui génère l'attribution \(Z\) par un échantillonnage uniforme à partir de \(\Omega_D\).
L'inférence basée sur la conception nécessite l'accès à l'algorithme génératif\(\pi(\cdot)\) ou au sous-espace \(\Omega_D\)mis en cache.
Générer des vecteurs placebo basés sur la conception
Au lieu de s'appuyer sur un brassage uniforme, la matrice placebo est construite par un tirage direct à partir de \(\Omega_D\).
- Initialisez la matrice \(X\) de covariables de la pré-période d'origine pour toutes les unités de contrôle.
- Exécutez l'algorithme de conception \( \pi(X) \) de la même manière que lors de la phase de configuration du test, en utilisant des graines aléatoires uniques pour explorer l'espace des conceptions valides.
- Collectez des attributions placebo \(K\) \(\{Z^{(1)}, Z^{(2)},\dots,Z^{(K)}\}\)de sorte que chaque \(Z^{(k)}\) respecte les contraintes structurelles, y compris la stratification, les limites de budget et le filtrage de la qualité des prétests.
Calculer la distribution nulle empirique
Pour estimer l'effet causal de chaque attribution de placebo valide \(Z^{(k)}\), procédez comme suit :
- Ajustez le modèle contrefactuel en n'utilisant que les données de pré-test sur l'attribution\(Z^{(k)}\).
- Prédisez le résultat contrefactuel pour les unités traitées définies dans\(Z^{(k)}\) pendant la phase de test réelle.
- Calculez la statistique du test placebo \(T^{(k)}\), qui correspond à l'effet incrémental total sur les unités traitées définies dans\(Z^{(k)} : T^{(k)} = \sum_{t > t_0} (Y_t^{(k)} - \widehat{Y_t^{(k)}(0)})\).
Étant donné que chaque \(Z^{(k)}\) est un découpage de haute qualité par conception, l'estimateur génère des correspondances synthétiques robustes de l'effet observé \(T_{\text{obs} }\)dans la conception réelle. La distribution de \(T^{(k)}\) qui en résulte représente le niveau d'incertitude selon l'hypothèse nulle stricte.
Calculer la valeur p et les intervalles de confiance (inférence exacte valide)
Selon l'hypothèse nulle stricte, la valeur p est la probabilité qu'un découpage placebo produise une statistique de test aussi extrême que l'effet observé\(T_{\text{obs}}\). Pour tenir compte des variations de l'ajustement du modèle de référence, vous pouvez utiliser à la place la statistique de test studentisée. Cette statistique est définie comme le ratio entre l'effet sur la période postérieure et la racine carrée de l'erreur quadratique moyenne (RMSE) sur la période antérieure :
Le calcul de la valeur p affinée est défini comme suit :
L'intervalle de confiance de l'effet incrémental peut ensuite être récupéré par inversion de ces valeurs p.