Kontrafaktische Modellierung

In diesem Dokument wird beschrieben, wie im Meridian GeoX-Framework kontrafaktische Modellierung verwendet wird, um die tatsächliche Inkrementalität von Marketingmaßnahmen exakt zu messen.

Durchschnittlicher Testeffekt auf die Testgruppe

Die Modellierung kontrafaktischer oder potenzieller Ergebnisse ist ein Standardansatz bei der kausalen Inferenz. Es ist unerlässlich, den durchschnittlichen Testeffekt auf die Testgruppe (Average Treatment Effect on Treated, ATT) oder die tatsächliche inkrementelle Wirkung von Marketingmaßnahmen zu messen.

Mathematisch wird die erwartete inkrementelle Wirkung auf das Conversion-Ergebnis \( Y \)nach einer Marketingmaßnahme folgendermaßen definiert:

$$ATT = E[Y (1) - Y (0)|D = 1]$$

In der Gleichung gilt:

  • \( D = 1 \) steht für die geografischen Testeinheiten, basierend auf der Regel für die Zuweisung von geografischen Einheiten in der Studie.
  • \( Y (1) \) ist das potenzielle Ergebnis dieser geografischen Einheiten mit Test (faktisch).
  • \( Y (0) \) ist das potenzielle Ergebnis ohne Test (kontrafaktisch).

Während des Testzeitraums von GeoX kann nur \( Y (1) \) erfasst werden. \( Y (0) \) wird nicht erfasst, sondern mithilfe der Modellierungsansätze von GeoX vorhergesagt.

Problemstellung beim maschinellen Lernen unter Business-as-Usual-Bedingungen

Die wichtigste Annahme in GeoX ist, dass ohne eine neu hinzugefügte Marketingmaßnahme alle geografischen Einheiten unter Business-as-Usual-Bedingungen (BAU) laufen sollten, auch wenn die Conversion-Daten auf Ebene der geografischen Einheiten natürlichen Schwankungen wie Saisonalität unterliegen können.

Anhand der BAU-Bedingungen erstellt GeoX ein Modell für maschinelles Lernen, das die Conversion der geografischen Testeinheiten auf Basis des Kontrollpools vorhersagt. Mit diesem Modell kann auch der kontrafaktische Messwert \( Y (0) \) mithilfe der geografischen Kontrolleinheiten vorhergesagt werden, für die auch nach Aktivierung der Marketingmaßnahme in den geografischen Testeinheiten unverändert die BAU-Bedingungen gelten. Die Verlustfunktion in der Lernproblemstellung wird also folgendermaßen berechnet:

$$\sum_{t \in \text{pretest}} \|f(Y_{t, T}(0)) - g(Y_{t, C}(0))\|_2{ }^2$$

In der Gleichung gilt:

  • \( Y_{t,T} \) und \( Y_{t,C} \) sind Conversion-Vektoren zum Zeitpunkt \( t \) aller geografischen Test- bzw. Kontrolleinheiten. Die Verlustfunktion summiert die L2-Norm der Residuen, indem sie die Differenz zwischen den Testeinheiten und den Kontrolleinheiten mit den reinen Vortestdaten vergleicht.
  • Das Funktional \( f \) wird in der Regel manuell definiert, wobei eine durchschnittliche Conversion zum selben Zeitpunkt \( t \) über alle geografischen Testeinheiten hinweg verwendet wird.
  • Das Funktional \( g \) kann aus den Vortestdaten gelernt werden, indem die Gesamtverlustfunktion minimiert wird. Unterschiedliche Analysemethoden ergeben unterschiedliche Werte für\( g \). Bei der zeitbasierten Regression (TBR) ist\( g \) eine lineare Transformation, die auf die durchschnittliche Conversion über alle geografischen Kontrolleinheiten hinweg angewendet wird.

Wie bei typischen Problemstellungen des maschinellen Lernens ist es manchmal sehr sinnvoll, den L1- oder L2-Regularisierungsausdruck in die Verlustfunktion aufzunehmen.

Die wesentliche Funktion des Analysemoduls besteht darin, dass GeoX prognostiziert, wie hoch die Anzahl der Conversions oder der Umsatz für die Testgruppe gewesen wäre, wenn keine Marketingmaßnahmen ergriffen worden wären. Anschließend wird der inkrementelle Effekt entsprechend geschätzt. Beispiele für Marketingmaßnahmen sind die Aktivierung einer neuen Kampagne, eine Media-Deaktivierung und die Erhöhung der Ausgaben.