Robuste Inferenz

Um festzustellen, ob die beobachtete Steigerung statistisch signifikant ist, bietet Meridian GeoX robuste Inferenzmethoden für aktuelle und zukünftige Analysemethoden.

Zuweisungsmechanismus von Meridian GeoX

Bei GeoX-Studien werden stark eingeschränkte, mathematisch optimierte Algorithmen verwendet, um die geografische Zuordnung zu bestimmen. \(Z \in \Omega = \lbrace 0, 1 \rbrace^N\) ist der Vektor für die Zuordnung der Testgruppe, wobei \(N\) die Anzahl der im Test enthaltenen geografischen Einheiten ist. \(X\) ist eine Matrix von Kovariaten aus dem Zeitraum vor dem Test. Bei der geschichteten Stichprobenerhebung umfasst \(X\) historische Conversion-Volumen, Trends und saisonale Muster. Der Designalgorithmus wendet in der Regel eine Beschränkungsfunktion an oder minimiert eine Kostenfunktion \(C(Z, X)\) , um eine stark eingeschränkte Zuweisung zu erreichen:

$$Z^* = \arg\min_{Z \in \Omega} C(Z, X)$$

Es ist nicht erforderlich, das exakte Minimum zu wählen, da dieses höchstwahrscheinlich einer Überanpassung entspricht. Alternativ reicht es aus, die geografische Zuordnung \(Z\) einheitlich aus einer gültigen Teilmenge akzeptabler Designs auszuwählen:

$$\Omega_D = \{Z \in \Omega \mid C(Z, X) \le \epsilon\}$$

Das Inferenzproblem

Um den Effekt der Testvariablen mithilfe von kausalen Schätzern wie zeitbasierter Regression (time-based regression, TBR) zu bewerten, wird in der Analyse die scharfe Nullhypothese\(H_0:Y_i(1)=Y_i(0)\) für jede Testeinheit \(i\)getestet. Bei der exakten Randomisierungsinferenz entspricht der p-Wert der Wahrscheinlichkeit, eine Teststatistik \(T\) zu beobachten, die mindestens so extrem ausfällt wie der tatsächlich beobachtete Wert. Dieser wird über die Verteilung aller möglichen Zuweisungen berechnet, die unter dem realen Zuweisungsmechanismus zulässig sind.

Vorteile der designorientierten Inferenz

Die designorientierte Inferenz ist darauf ausgelegt, die tatsächliche Bedeutung von Ergebnissen zur Steigerung in GeoX objektiv zu bewerten. Dieser Ansatz löst ein verbreitetes Inferenzproblem: Viele herkömmliche Inferenzmethoden (wie der t-Test oder der Sliding-Window-Test) scheitern häufig daran, die False Discovery Rate effektiv zu kontrollieren. Im Vergleich zu diesen Methoden ist die designbewusste Inferenz deutlich weniger anfällig dafür, fälschlicherweise signifikante Inkrementalitätseffekte festzustellen. Eine detaillierte Methodik und die Ergebnisse finden Sie in unserem Forschungsbericht.

Die designorientierte Inferenz ist auch Standard-Placebo-Methoden überlegen, da sie eine grundlegende Diskrepanz bei der Bewertung von Geo-Tests behebt. Bei Standardmethoden wird davon ausgegangen, dass die Testregionen völlig zufällig ausgewählt wurden. Bei den meisten GeoX-Studien werden jedoch stark eingeschränkte, mathematisch optimierte Algorithmen verwendet, um die Zuordnung der Regionen zu bestimmen.

So werden die spezifischen Einschränkungen von Standardmethoden durch designorientierte Inferenz behoben:

• Beim Standard-Placebo-Test wird die Zuordnung \(Z\) gleichmäßig aus \(Ω\)gezogen (durch Mischen der Testgruppen-Labels), um eine empirische Nullverteilung zu erhalten, die das Rauschen im Schätzer widerspiegelt. Bei Placebo-Tests sind sowohl \(Z\) als auch\(Ω\) auf die Verwendung von Kontrollregionen beschränkt. Da der Standardtest jedoch nicht die Designbeschränkungen der Studie berücksichtigt, führt das Verfahren häufig zu „schlechten Aufteilungen“. Dies ist beispielsweise der Fall, wenn eine Testgruppe, die ausschließlich aus großen Metropolregionen mit hohem Volumen besteht, mit einer Kontrollgruppe aus kleineren Regionen mit geringem Volumen verglichen wird. Diese ungeeigneten Aufteilungen verfälschen die empirische Nullverteilung durch massive Fehler. Diese Ungenauigkeit erhöht nicht nur die Fehlerquote vom Typ I, sondern erschwert auch die Erkennung einer tatsächlichen Steigerung.

• Bei der designorientierten Inferenz wird die Placebo-Generierung auf die genaue Topologie des ursprünglichen Testdesigns beschränkt, indem die Zuordnung \(Z\) gleichmäßig aus\(\Omega_D\)gezogen wird. Placebos werden mit denselben Zielfunktionen, Budgetlimits und Designbeschränkungen generiert. Daher ist jedes Placebo ein gültiger, hochwertiger Split und die Nullverteilung spiegelt die tatsächliche Referenz-Unsicherheit des Inferenzproblems genau wider. Im Vergleich zum Standardansatz wird durch diese strukturelle Einschränkung der Nullverteilung der minimale nachweisbare Effekt (Minimum Detectable Effect, MDE) erheblich reduziert, was die statistische Aussagekraft erhöht.

Designorientierte Inferenz implementieren

Für die Implementierung einer designorientierten Inferenz ist eine formale Synchronisierung zwischen der Designphase und der anschließenden Analyse erforderlich.

In den folgenden Abschnitten werden die Schritte zur Implementierung der designorientierten Inferenz beschrieben.

Zuweisungsmechanismus formalisieren: \(P(Z \mid X)\)

Das Optimierungsproblem wandelt Ihre Designkonfigurationen in eine programmierbare Einschränkungsfunktion um. Angenommen, es wird eine Optimierungsheuristik wie Greedy Matching verwendet, um Einheiten zuzuweisen. Dann steht \(\pi(\cdot)\) für einen Designalgorithmus, der die Zuweisung \(Z\) durch gleichmäßige Stichprobenerhebung aus \(\Omega_D\)generiert.

Für die designorientierte Inferenz ist Zugriff auf den generativen Algorithmus\(\pi(\cdot)\) oder den im Cache gespeicherten Unterraum \(\Omega_D\)erforderlich.

Designorientierte Placebo-Vektoren generieren

Anstatt durch gleichmäßiges Shuffling wird die Placebo-Matrix durch direktes Ziehen aus \(\Omega_D\)erstellt.

1. Initialisieren Sie die ursprüngliche Kovariatenmatrix für den Zeitraum vor der Testphase \(X\) für alle Kontrolleinheiten.
2. Führen Sie den Designalgorithmus \( \pi(X) \) analog zur Phase der Testeinrichtung aus und verwenden Sie dabei eindeutige Zufalls-Seeds, um den Raum der gültigen Designs zu analysieren.
3. Erfassen Sie \(K\) Placebo-Zuweisungen \(\{Z^{(1)}, Z^{(2)},\dots,Z^{(K)}\}\), sodass jede \(Z^{(k)}\) den strukturellen Einschränkungen entspricht, einschließlich Stratifizierung, Budgetlimits und Qualitätsfilterung vor dem Test.

Empirische Nullverteilung berechnen

So schätzen Sie den kausalen Effekt für jede gültige Placebo-Zuweisung \(Z^{(k)}\):

1. Passen Sie das kontrafaktische Modell nur mit Vortestdaten zur Zuweisung\(Z^{(k)}\)an.
2. Prognostizieren Sie das kontrafaktische Ergebnis für die in\(Z^{(k)}\) definierten Testeinheiten während der tatsächlichen Testphase.
3. Berechnen Sie die Placebo-Teststatistik \(T^{(k)}\), d. h. den inkrementellen Gesamteffekt auf die Testeinheiten, wie in\(Z^{(k)} : T^{(k)} = \sum_{t > t_0} (Y_t^{(k)} - \widehat{Y_t^{(k)}(0)})\)definiert.

Da jede \(Z^{(k)}\) ein hochwertiger Split ist, liefert der Schätzer robuste synthetische Übereinstimmungen des beobachteten Effekts \(T_{\text{obs} }\)im realen Design. Die resultierende Verteilung von \(T^{(k)}\) stellt das Maß an Unsicherheit unter der scharfen Nullhypothese dar.

p-Wert und Konfidenzintervalle berechnen (gültige exakte Inferenz)

Unter der scharfen Nullhypothese ist der p-Wert die Wahrscheinlichkeit, dass eine Placebo-Aufteilung einen Testmesswert ergibt, der so extrem ist wie der beobachtete Effekt\(T_{\text{obs}}\). Um Abweichungen bei der Anpassung des Referenzmodells zu berücksichtigen, können Sie stattdessen die studentisierte Teststatistik verwenden. Die studentisierte Teststatistik ist definiert als das Verhältnis des Effekts im Testzeitraum zur Wurzel der mittleren Fehlerquadratsumme (Root Mean Squared Error, RMSE) im Zeitraum vor dem Test:

$$\tilde{T}^{(k)} = \frac{T^{(k)}}{RMSE_{\text{pre}}^{(k)}}$$

Die verfeinerte p-Wert-Berechnung ist so definiert:

$$p = \frac{1}{K+1} \left\{ 1 + \sum_{k=1}^K \mathbb{I} \left( \tilde{T}^{(k)} \text{ is more extreme than } \tilde{T}_{\text{obs}} \right) \right\}$$

Das Konfidenzintervall des inkrementellen Effekts kann anschließend durch die Inversion dieser p-Werte bestimmt werden.