Analyse-Ausgaben

Nachdem Sie eine Meridian GeoX-Analyse ausgeführt haben, können Sie die Testergebnisse anhand von numerischen Messwerten und Visualisierungen auswerten. Auf dieser Seite werden die wichtigsten Ausgabemesswerte und visuellen Diagramme beschrieben, die vom GeoX-Framework generiert werden, um Ihnen die Interpretation der Kampagnenleistung zu erleichtern.

Analyse ausführen

Rufen Sie geox.analyze mit Ihren Daten und Ihrer Konfiguration auf, um die Analyse auszuführen. Diese Funktion gibt ein AnalysisResult-Objekt mit Punktschätzungen und Konfidenzintervallen für verschiedene Messwerte zur Steigerung der Conversions zurück.

print("\nAnalyzing experiment results...")
analysis_result = geox.analyze(
    analysis_data, analysis_config
)
# Returns not only point estimates, but also confidence intervals of various incrementality metrics
analysis_result.results

Für jede Testzelle bietet das zurückgegebene AnalysisMetrics-Objekt in den Ergebnissen einen umfassenden Überblick über die Auswirkungen des Tests:

• Steigerung: Die absolute Zahl zusätzlicher Conversions. Beispiele sind die Gesamtzahl der zusätzlichen Verkäufe oder Conversions, die durch die Interventionen in der Testzelle verursacht wurden und direkt dem Test zugeordnet werden können.
• Anstieg in Prozent: Die relative inkrementelle Conversion als Prozentsatz über der geschätzten kontrafaktischen Baseline.
• Zusätzliche Conversion pro Dollar (iCPD): Die zusätzliche Effizienz, die durch die Normalisierung mit den Marketingausgaben erreicht wird. Entspricht dem iROAS, wenn Umsatzdaten verwendet werden.
• p-Wert und Konfidenzintervalle: Diese Maße für die statistische Signifikanz werden mithilfe der designorientierten Placebo-Inferenz berechnet. Diese gelten für alle zuvor genannten Messwerte.

{
    'cell_1': AnalysisMetrics(
        lift=Estimate(
            point_estimate=26667.484375,
            lower_bound=23734.5703125,
            upper_bound=28317.734375,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        percent_lift=Estimate(
            point_estimate=0.04917562007904053,
            lower_bound=0.04350090026855469,
            upper_bound=0.052402496337890625,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        icpd=Estimate(
            point_estimate=1.3162440061569214,
            lower_bound=1.1714823246002197,
            upper_bound=1.3976964950561523,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        descriptive_metrics=None,
    )
}

Zur Visualisierung dieser Ergebnisse ist geox.plot_analysis ein leistungsstarkes Tool, mit dem Sie die beobachteten Daten mit dem geschätzten kontrafaktischen Wert vergleichen und die inkrementellen Effekte im Verlauf des Tests verfolgen können.

# Creates visualizations of the incrementality effect
geox.plot_analysis(analysis_result)

Für jede einzelne Testgruppenzelle im Test werden vier Diagramme angezeigt:

1. Das erste Diagramm zeigt die täglichen Conversions in der Testgruppe im Vergleich zum prognostizierten kontrafaktischen Wert vom Vorabtest- bis zum Testzeitraum. Normalerweise sollten die beiden Zeitreihen während des Vorabtestzeitraums eng übereinstimmen, was auf eine gute Anpassung des kontrafaktischen Modells hindeutet. Wenn die Marketingmaßnahme jedoch einen inkrementellen Einfluss auf die Conversion hat, der nicht null ist, sollten Sie während des Testzeitraums eine Abweichung zwischen den beiden Reihen sehen.
2. Das zweite Diagramm ist eine weitere Möglichkeit, den inkrementellen Effekt zu betrachten. Dazu werden die vorhergesagten kontrafaktischen Werte von den beobachteten täglichen Conversions der Testgruppe subtrahiert. Während des Vortestzeitraums wird erwartet, dass die Differenz etwa 0 beträgt. Während des Testzeitraums gibt die Differenz jedoch den inkrementellen Effekt an, der durch Ihre Marketingmaßnahmen verursacht wird.
3. Das dritte Diagramm zeigt anstelle der täglichen inkrementellen Effekte die kumulative Steigerung während des Testzeitraums, die im Laufe der Zeit voraussichtlich zunimmt.
4. Das vierte Diagramm zeigt den kumulativen Effekt nach der Normalisierung nach Marketingausgaben. Hier wird die Effizienz der Steigerung der Conversions dargestellt, insbesondere der iCPD-Messwert Ihrer Werbekampagnen.