Das Meridian GeoX-Framework priorisiert einen robusten, datengestützten Ansatz für das Testdesign, um die Varianz und die Budgetanforderungen von Werbetreibenden zu minimieren. Anstelle der standardmäßigen zufälligen Stichprobenerhebung wird eine geschichtete Stichprobenerhebung vorgeschlagen, um Designvarianten zu generieren. So wird sichergestellt, dass die Test- und Kontrollgruppen vor Beginn eines Tests besser vergleichbar sind. Nach der geschichteten Stichprobenerhebung werden im Designsuchprozess potenzielle Designvarianten gefiltert und diejenigen Designs finalisiert, die die höchste statistische Aussagekraft erzielen.
Geschichtete Stichprobe
Meridian GeoX verwendet geschichtete Stichproben, um die Varianz und die hohen Budgetanforderungen zu berücksichtigen, die mit eingeschränkten Stichprobengrößen einhergehen.
- Stratifizierungsprozess: Geografische Einheiten werden in „Schichten“ unterteilt. Das sind homogene Cluster, die durch gemeinsame Merkmale wie Antwortvolumen, Trend und Saisonalität definiert sind.
- KPI-Merkmalsgewinnung: Vor dem Clustering werden KPI-Reihen mithilfe statistischer Messwerte wie Mittelwert, Variationskoeffizient (coefficient of variation, CV), Steigung, Autokorrelation (bei Verzögerung 1) und Dynamic Time Warping (DTW) in Merkmale umgewandelt.
- Clustering und zufällige Zuweisung: Ein k-Means-Algorithmus kann geografische Einheiten anhand dieser Merkmale in Schichten unterteilen. Die Standardanzahl von Clustern ist vier. Für jede geografische Einheit wird dann innerhalb jedes Clusters eine zufällige Zuweisung zu Test- oder Kontrollgruppen vorgenommen. Die zufällige Zuweisung lässt sich natürlich auch auf ein Testdesign mit mehreren Zellen ausweiten.
Zufallsstichproben
Meridian GeoX unterstützt die zufällige Stichprobenerhebung, bei der geografische Einheiten nach dem Zufallsprinzip in Test- und Kontrollgruppen aufgeteilt werden, ohne dass die Clusterstruktur berücksichtigt wird. Zufällige Stichproben werden im Allgemeinen nicht gegenüber der geschichteten Stichprobenmethode empfohlen. Sie sind jedoch in GeoX erforderlich, wenn nur wenige geografische Einheiten vorhanden sind.
Designsuche
Meridian GeoX verwendet eine strenge Pipeline für die Designsuche, um optimale Kandidaten für das Testdesign aus einem Pool von Designvarianten zu identifizieren, die mithilfe der geschichteten Stichprobenziehung generiert wurden.
Bewertungsmesswerte
Die folgenden Messwerte werden in Meridian GeoX ausgewertet, um die Qualität eines Designs genau zu analysieren:
- Out-of-Sample-Fit: Gibt an, wie gut das Modell zu einem Design passt. Die Bewertung erfolgt anhand des Out-of-Sample-Bestimmtheitsmaßes (R²), um potenzielle Designvarianten zu filtern.
- AA-Robustheit: Validiert durch AA-Simulationen, bei denen p-Werte geprüft werden, um statistisch signifikante AA-Verzerrungen zu vermeiden.
Statistische Aussagekraft: Gemessen am minimalen nachweisbaren Effekt (Minimum Detectable Effect, MDE) der relativen Steigerung. Der GeoX-MDE-Steigerungsprozentsatz ist unabhängig von den Optionen der Analysemethode und wird mit der folgenden Formel berechnet:
$$MDE_{\,lift} = Min\:incremental\:conversion\:/\:Baseline\:control \:conversion\\= SE_{\,lift} \times (Z_{1-\alpha/2}\:+\:Z_{1-\beta})\:/\: Baseline\:control\:conversion$$In der Formel steht \( SE_{\,lift} \) für den Standardfehler der absoluten Anzeigenwirkung auf die Markenbekanntheit, während \( \alpha \) und \( 1-\beta \) das Signifikanzniveau bzw. die gewünschte statistische Aussagekraft darstellen. Standardmäßig wird ein zweiseitiger Hypothesentest verwendet. \( Z \) entspricht den Quantilen der Standardnormalverteilung.
Budget: Die statistische Aussagekraft wird in die finanziellen Anforderungen umgerechnet, die zum Erreichen der Zielwerte für die Aussagekraft erforderlich sind.
Suchpipeline
Bei der Designsuche werden die gesamten Daten aus der Testvorbereitung in Zeiträume für das anfängliche Training, die Validierung und die endgültige Auswahl unterteilt. Der Prozess umfasst dann sechs aufeinanderfolgende Schritte, um die Designs fertigzustellen. Die Schritte der sequenziellen Suchpipeline finden Sie im Diagramm in diesem Dokument:
