Résultats de l'analyse

Après avoir exécuté une analyse Meridian GeoX, vous pouvez évaluer les résultats du test à l'aide de métriques numériques et de visualisations. Cette page décrit les principales métriques de sortie et les graphiques générés par le framework GeoX pour vous aider à interpréter les performances de vos campagnes.

Exécuter l'analyse

Pour exécuter l'analyse, appelez geox.analyze avec vos données et votre configuration. Cette fonction renvoie un objet AnalysisResult contenant des estimations ponctuelles et des intervalles de confiance pour différentes métriques d'incrémentalité.

print("\nAnalyzing experiment results...")
analysis_result = geox.analyze(
    analysis_data, analysis_config
)
# Returns not only point estimates, but also confidence intervals of various incrementality metrics
analysis_result.results

Pour chaque cellule de traitement, l'objet AnalysisMetrics renvoyé dans les résultats fournit une vue complète de l'impact du test :

• Impact : conversion incrémentale absolue. Par exemple, le nombre total de ventes ou de conversions supplémentaires générées par les interventions dans la cellule de traitement et directement attribuées au test.
• Lift en pourcentage : conversion incrémentale relative exprimée en pourcentage de la référence contrefactuelle estimée.
• Conversion incrémentale par dollar (iCPD) : efficacité incrémentale mesurée en normalisant par les dépenses marketing. Équivaut au ROAS incrémental si des données sur les revenus sont utilisées.
• Valeur p et intervalles de confiance : ces mesures de pertinence statistique sont calculées à l'aide d'une inférence placebo tenant compte de la conception. Elles s'appliquent à toutes les métriques mentionnées précédemment.

{
    'cell_1': AnalysisMetrics(
        lift=Estimate(
            point_estimate=26667.484375,
            lower_bound=23734.5703125,
            upper_bound=28317.734375,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        percent_lift=Estimate(
            point_estimate=0.04917562007904053,
            lower_bound=0.04350090026855469,
            upper_bound=0.052402496337890625,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        icpd=Estimate(
            point_estimate=1.3162440061569214,
            lower_bound=1.1714823246002197,
            upper_bound=1.3976964950561523,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        descriptive_metrics=None,
    )
}

Pour visualiser ces résultats, geox.plot_analysis constitue un outil puissant permettant de représenter graphiquement les données observées par rapport au contrefactuel estimé et de suivre les effets incrémentaux tout au long du test.

# Creates visualizations of the incrementality effect
geox.plot_analysis(analysis_result)

Quatre graphiques sont affichés pour chaque cellule de traitement de votre test :

1. Le premier graphique illustre le nombre quotidien de conversions dans la zone géographique de traitement par rapport au scénario contrefactuel prédit, de la période de prétest à la période de test. En général, les deux séries temporelles doivent suivre une évolution très similaire pendant la période de prétest, ce qui indique un bon ajustement du modèle contrefactuel. Toutefois, si l'intervention marketing a un impact incrémental non nul sur la conversion, vous devriez commencer à observer un écart entre les deux séries pendant la période de test.
2. Le deuxième graphique présente l'effet incrémental sous un autre angle, en soustrayant le contrefactuel prédit des conversions quotidiennes observées dans le groupe de traitement. Pendant la période de prétest, l'écart devrait être proche de zéro. Pendant la période de test, en revanche, il indiquera l'effet incrémental causé par vos interventions marketing.
3. Le troisième graphique illustre l'incrémentalité cumulée pendant la période de test, qui devrait généralement augmenter au fil du temps, plutôt que les effets incrémentaux quotidiens.
4. Le quatrième graphique représente l'effet cumulé après normalisation par les dépenses marketing. Il illustre l'efficacité de l'incrémentalité, en particulier la métrique iCPD de vos campagnes publicitaires.