Le framework Meridian GeoX privilégie une approche robuste basée sur les données concernant la conception de tests afin de réduire au maximum la variance et les besoins budgétaires des annonceurs. Au-delà de l'échantillonnage aléatoire standard, l'échantillonnage stratifié est proposé pour générer des candidats de conception, garantissant ainsi une meilleure comparabilité entre les groupes de traitement et de contrôle avant le début d'un test. Après l'échantillonnage stratifié, le processus de recherche sélectionne les candidats les plus pertinents et finalise les conceptions qui atteignent la puissance statistique la plus élevée.
Échantillonnage stratifié
Meridian GeoX s'appuie sur un plan d'échantillonnage stratifié pour répondre aux problèmes de variance et de coûts élevés liés aux tailles d'échantillons limitées.
- Processus de stratification : il répartit les unités géographiques (zones géographiques) en "strates", c'est-à-dire des clusters homogènes définis par des caractéristiques communes telles que le volume de réponse, la tendance et la saisonnalité.
- Caractérisation des KPI : avant le clustering, les séries de KPI sont caractérisées à l'aide de métriques statistiques, y compris la moyenne, le coefficient de variation, la pente, l'autocorrélation (au décalage 1) et la déformation temporelle dynamique (ou "DTW" pour "Dynamic Time Warping").
- Clustering et attribution aléatoire : un algorithme k-moyennes peut répartir les zones géographiques en strates sur la base de ces caractéristiques. Par défaut, il y a quatre clusters. Pour chaque zone géographique, une attribution aléatoire à des groupes de traitement ou de contrôle est ensuite effectuée au sein de chaque cluster. Notez que cette attribution aléatoire s'étend également naturellement à la conception d'études à plusieurs cellules.
Échantillonnage aléatoire
Meridian GeoX prend en charge l'échantillonnage aléatoire, dans lequel les unités géographiques sont réparties de manière aléatoire entre les groupes de traitement et de contrôle, sans tenir compte du tout de la structure de clustering. Bien que l'échantillonnage aléatoire ne soit généralement pas recommandé par rapport à la méthodologie d'échantillonnage stratifié, il s'avère nécessaire dans GeoX lorsque le nombre de zones géographiques est faible.
Processus de recherche de conception
Meridian GeoX utilise un pipeline de recherche rigoureux pour identifier les candidats optimaux parmi un ensemble de conceptions potentielles générées à l'aide de la méthode d'échantillonnage stratifié.
Métriques d'évaluation
Les métriques suivantes sont évaluées dans Meridian GeoX pour surveiller de près la qualité d'une conception :
- Ajustement hors échantillon : indique si le modèle s'ajuste ou non à une conception. Cet ajustement est évalué à l'aide du coefficient de détermination hors échantillon pour filtrer les conceptions candidates.
- Robustesse A/A : elle est validée par des simulations A/A où les valeurs p sont vérifiées pour éviter les biais A/A statistiquement significatifs.
Puissance statistique : elle est mesurée par l'effet minimal détectable (ou "MDE" pour "Minimum Detectable Effect") du lift relatif. Le pourcentage de lift MDE dans GeoX est indépendant des options de méthodologie d'analyse. Il est calculé selon la formule suivante :
$$MDE_{\,lift} = Min\:incremental\:conversion\:/\:Baseline\:control \:conversion\\= SE_{\,lift} \times (Z_{1-\alpha/2}\:+\:Z_{1-\beta})\:/\: Baseline\:control\:conversion$$Dans cette formule, \( SE_{\,lift} \) désigne l'erreur standard du lift absolu, tandis que \( \alpha \) et \( 1-\beta \) représentent respectivement le niveau de signification et la puissance statistique cible. Par défaut, un test d'hypothèse bilatéral est pris en compte. \( Z \) correspond aux quantiles normaux standards.
Budget : il traduit la puissance statistique en besoins budgétaires nécessaires pour atteindre les objectifs de puissance.
Pipeline de recherche
Le processus de recherche de conception divise l'ensemble des données de prétest en périodes d'entraînement initial, de validation et de sélection finale. Il suit ensuite six étapes séquentielles pour finaliser les conceptions. Reportez-vous au diagramme dans ce document pour voir ces étapes séquentielles du pipeline de recherche :
