Résoudre les problèmes liés aux résultats de conception

Résolvez les problèmes liés aux résultats de vos conceptions en comprenant les exigences relatives à l'EMD. Ce guide vous aide à vérifier les métriques de vos conceptions par rapport aux données historiques et à ajuster les paramètres de votre étude lorsque les résultats ne répondent pas à vos objectifs de mesure.

Présentation détaillée de l'effet minimum détectable (EMD)

Le résultat de chaque conception est accompagné d'un effet minimal détectable (EMD). L'EMD désigne la plus petite variation que votre test est statistiquement capable de mesurer. Pour vérifier que votre test est suffisamment efficace, vous devez vous assurer que l'EMD est inférieur au lift réel que vous attendez de votre campagne. Une erreur courante consiste à concevoir et à exécuter un test Meridian GeoX avec un EMD trop élevé. Si vous n'êtes pas sûr des performances attendues de votre campagne, nous vous recommandons de rester prudent en choisissant un EMD plus faible. De cette façon, le test est suffisamment sensible pour détecter même des variations subtiles.

Lorsque vous testez vos campagnes existantes avec les options de test go-dark ou heavy-up, vous pouvez vérifier si l'EMD que vous avez choisi est réaliste à condition que vos études d'incrémentalité antérieures aient des configurations similaires ou qu'un modèle de mix marketing (MMM) soit disponible pour vos segments marketing. Pour cela, vous pouvez comparer le "CpCI implicite de la conception" au "CpCI estimé".

Pour simplifier cette comparaison, tenez compte de ces trois métriques principales (également illustrées dans le diagramme suivant), qui indiquent que vos dépenses média et la réponse suivent une courbe de rendement publicitaire concave :

• Coût par action (CPA) : votre coût par conversion standard, égal aux dépenses ($S$) divisées par conversions ($C$). Notez que le nombre total de conversions inclut ici les conversions incrémentales et non incrémentales. Par exemple, des événements de conversion naturels sans média payant.
• Élasticité : correspond à \(\frac{\Delta C / C}{\Delta S / S}\) dans le diagramme. Il s'agit d'une mesure de la sensibilité de vos conversions aux variations des dépenses, qui peut être déduite d'études historiques ou de la MMM.
  • Pour les études de type "go-dark" où $\Delta S = -100\% * S$, l'élasticité correspond essentiellement à $-\Delta C divisé par C$, soit le lift relatif attendu de votre étude.
• Coût par conversion incrémentale (CpCI) : égal à $\Delta S divisé par \Delta C$. Il s'agit du coût réel de chaque conversion incrémentale générée par la variation des dépenses incrémentales due à votre intervention marketing.

Un test bien conçu garantit que votre CpCI implicite, calculé en divisant le budget par le nombre minimal de conversions incrémentales requises, est aligné sur votre CpCI théorique, calculé en divisant le CPA par l'élasticité. Idéalement, le CpCI implicite de la conception ne doit pas être inférieur au CpCI estimé pour que le test soit suffisamment efficace.

Extrayez le CpCI implicite de la conception pour la conception de test à cellule unique choisie :

select_design = single_cell_design_set.designs[single_cell_selected_design_id]
select_design.designs['cell_1'].design_implied_cpic

Comprendre la relation entre le budget, l'EMD et le CpCI implicite de la conception

L'impact de l'ajustement du budget sur la sensibilité du test est souvent source de confusion.

• L'EMD est indépendant du budget : l'EMD statistique (le pourcentage minimal de variation des conversions que le test peut détecter) est déterminé uniquement par la volatilité historique et la correspondance géographique. Modifier le budget dans Constraints ne suffit pas à changer cette limite statistique.
• Le budget détermine le CpIC implicite de la conception : alors que l'EMD (le pourcentage de lift requis) reste constant, le CpCI implicite de la conception change proportionnellement au budget :
  • Budget plus élevé : entraîne un CpCI implicite plus élevé (moins efficace). Cela augmente la probabilité d'obtenir un test concluant pour les campagnes aux performances modérées.
  • Budget inférieur : limite la conception à un CpCI implicite très faible (très efficace). Si les performances réelles de la campagne sont modérées au lieu d'être très efficaces, il se peut que le test ne soit pas concluant.

Lorsqu'aucun résultat de conception ne correspond à votre objectif de mesure

Même avec notre optimisation des conceptions, il est possible que l'EMD le plus faible pour les meilleurs candidats de conceptions soit encore trop élevé pour votre cas. En général, cela indique que vos campagnes de test ne disposent pas d'un budget suffisant pour alimenter le test GeoX, en fonction des configurations d'étude que vous avez spécifiées et du niveau de bruit inhérent à vos données de KPI. Tout d'abord, vous devez clairement augmenter le budget des paramètres dans geox.Constraints(). Vous devrez peut-être ensuite ajuster les configurations de l'étude après avoir augmenté le budget du test en utilisant l'une des deux options suivantes :

• Vous pouvez choisir d'augmenter la durée de l'étude en modifiant experiment_duration dans geox.DesignConfig().
• Vous pouvez choisir de conserver la durée existante, mais d'augmenter le paramètre max_conversions_percent dans geox.Constraints(), ce qui signifie qu'un pourcentage plus élevé de zones géographiques sera affecté par votre intervention.

Quelle que soit l'approche choisie, vous pouvez essayer d'obtenir un plus grand nombre de conversions incrémentales en modifiant les configurations de l'étude. Vous pouvez également envisager de concevoir votre test de manière à inclure d'autres objectifs de conversion plus haut dans l'entonnoir, tels que les pages vues ou les ajouts au panier, en supposant que ces conversions en haut de l'entonnoir sont aussi affectées par vos campagnes. Cela peut fournir un volume de données plus élevé, ce qui peut entraîner un EMD plus faible.

Vous pouvez également augmenter directement le budget quotidien de la campagne. Toutefois, il est déconseillé d'augmenter le budget directement dans le test, car cela remet en cause le principe selon lequel les zones géographiques de contrôle doivent toujours fonctionner selon le mode habituel (BAU). Si votre cas nécessite d'augmenter le budget de la campagne, il est recommandé de procéder d'abord à cette augmentation, puis d'attendre d'avoir suffisamment de données (correspondant à ce nouveau BAU) avant de concevoir une nouvelle étude et de lancer concrètement le test GeoX.

Optimiser les tests pour les pics saisonniers

L'exécution d'un test GeoX lors des pics saisonniers, comme les fêtes de fin d'année ou les grands événements commerciaux, soulève des défis tels qu'une forte volatilité et des contraintes commerciales (par exemple, des périodes "intouchables" pendant lesquelles les médias ne peuvent pas être désactivés). Voici quelques consignes pour structurer vos études autour de ces périodes.

Gérer les périodes de pointe "intouchables" ou les contraintes commerciales

Si votre entreprise ne peut pas se permettre de désactiver la publicité (go-dark) sur les marchés clés pendant une période de forte activité commerciale :

• Utilisez une stratégie d'augmentation (heavy-up) plutôt que de suppression (go-dark) :
  • Au lieu de comparer la valeur des dépenses à l'absence de dépenses (go-dark), testez l'impact marginal de dépenses supplémentaires.
  • Maintenez le budget des zones géographiques de contrôle au niveau de référence prévu (BAU) et augmentez encore les dépenses dans les zones géographiques de traitement (par exemple, de +20 à +50 %). Vous pouvez ainsi capturer les pics de demande sur l'ensemble des marchés tout en continuant de mesurer le lift incrémental généré par l'investissement supplémentaire.
• Utilisez un go-dark partiel pour réduire au maximum les risques :
  • Parfois appelé go-dim, le go-dark partiel teste l'efficacité marginale, c'est-à-dire le ROI de la dernière tranche de dépenses ou de la plus élevée en procédant à une réduction partielle (par exemple, en diminuant les dépenses de 20 % dans les zones géographiques de traitement). Cette approche réduit au maximum le risque de perte de revenus pendant les pics tout en continuant de mesurer l'incrémentalité de cette tranche de budget spécifique. Notez que cela ne permet pas de mesurer l'efficacité globale de la base de référence, qui compare les dépenses BAU à des dépenses nulles et nécessite un test go-dark complet.

Gérer les périodes de pré-test et de post-test pendant les pics saisonniers

La transition vers un pic saisonnier et la sortie de celui-ci est souvent caractérisée par des changements rapides du comportement des utilisateurs et de la dynamique des enchères sur la plate-forme. Pour garantir la stabilité du modèle :

• Éviter les transitions de test pendant les pics : veillez à ce que les dates de début et de fin du test ne tombent pas directement au milieu d'une transition nette (par exemple, en lançant le test la veille du Black Friday). Le modèle est plus stable lorsque la relation entre les zones géographiques de traitement et de contrôle est cohérente.
  • Commencer le test suffisamment tôt : mettez en place les ajustements budgétaires (go-dark ou heavy-up) quelques semaines avant le début de la transition saisonnière. Cela laisse le temps à l'algorithme d'enchères de la plate-forme publicitaire de se stabiliser en fonction de ces nouveaux ajustements par zone géographique avant que le volume n'atteigne son pic.
  • Terminer le test tardivement : maintenez le test pendant toute la durée du pic et ne revenez à la normale qu'une fois que le volume du pic a diminué et s'est stabilisé à des niveaux normaux.
• Prolonger la collecte de données de prétest pour la validation : pour les activités fortement soumises à la saisonnalité, la quantité minimale de données de pré-test requise \( 3N \) est généralement insuffisante. Préparez des données historiques sur au moins un an pour valider votre conception.
• Valider la conception sur des pics historiques (tests avec placebo) :
  • Avant de lancer le test, effectuez une recherche de la conception en utilisant les données historiques correspondant au même pic saisonnier de l'année précédente comme période de validation.
  • Assurez-vous que la conception candidate réussit les tests avec placebo A/A (valeur p\( \ge \alpha \)) et présente toujours une bonne adéquation (\( R^2 \ge 0.8 \)) pendant ce pic historique. En cas d'échec, cela signifie que la relation entre vos zones géographiques devient instable lors des périodes de forte activité. Vous devez alors éviter d'effectuer des tests pendant ce pic.