Bei der Kalibrierung werden Testergebnisse und anderes Fachwissen verwendet, um channelspezifische Priors in Meridian festzulegen.
Die Standard-Priors von Meridian sind mäßig informativ. Die Daten können verrauscht sein. Daher ist es oft sinnvoll, Priors für Testvariablen zu kalibrieren, um das Modell mit realem Fachwissen zu leiten – etwa auf Basis belastbarer Tests oder fundierter Erwartungen.
Betrachten Sie einen kalibrierten Prior als „Leitplanke“. Es kann verlockend sein, schwache oder gar keine Leitplanken (in Form nicht informativer Priors) zu verwenden, doch das kann riskant sein und zu schlechten Modellergebnissen führen. Weitere Informationen finden Sie unter Nicht informative Priors und Regularisierung.
Ohne ausreichend starken Prior kann das Modell z. B. einem Channel mit geringem Budget einen unverhältnismäßig hohen Umsatz zuschreiben. Die Kalibrierung von Priors hilft, die Schätzungen auf einen realistischen Bereich zu begrenzen.
Annahmen zu Priors formulieren
Die Kalibrierung von Priors ist keine präzise Berechnung, sondern eine Kombination aus Daten, Fachwissen und subjektiver Einschätzung.
Nachdem Sie den Messwert ausgewählt haben, können Sie mit der Kalibrierung fortfahren. Beachten Sie beim Kalibrieren folgende Hinweise.
Inkrementalitätstests verwenden
Inkrementalitätstests bieten oft die beste Grundlage für Ihre Annahmen. Die Ableitung von Priors aus den Ergebnissen ist jedoch keine exakte Formel.
Vom Test zum Prior
Es gibt keine bestimmte Formel, um ein Testergebnis in einen Prior zu übersetzen. Vorwissen im bayesschen Sinne ist weiter gefasst und muss keiner schematischen Berechnung folgen. Statt sich starr auf einen einzelnen Test zu stützen, können Sie mehrere Evidenzen – etwa Ergebnisse aus mehreren Tests oder anderes Fachwissen – und deren Unsicherheiten in einer gemeinsamen Prior-Verteilung bündeln.
Ein gängiger Ansatz besteht darin, die Punktschätzung eines Tests als Prior-Mittelwert und den Standardfehler als Prior-Standardabweichung zu verwenden.
Mit dem bayesschen Framework von Meridian können Sie mehrere Evidenzen und deren Unsicherheiten in einer Prior-Verteilung bündeln, statt sich starr auf ein einzelnes Testergebnis zu stützen.
Test-ROI im Vergleich zum MMM-ROI
Statistisch gesehen haben Tests und MMMs unterschiedliche Schätzgrößen und Messziele. Das bedeutet, dass der ROI unterschiedlich definiert wird.
Der ROI, der mit einem Test gemessen wird, stimmt selten genau mit dem ROI überein, der mit MMM gemessen wird. Tests beziehen sich immer auf die spezifischen Bedingungen des Tests, z. B. den Zeitraum, die geografischen Einheiten und die Kampagneneinstellungen.
Testergebnisse liefern sehr relevante Informationen. Ihre Übertragung in einen MMM-Prior ist jedoch mit einer zusätzlichen Unsicherheit verbunden, die über den reinen Standardfehler des Tests hinausgeht.
Überlegungen zur Relevanz
Wenn Sie frühere Tests verwenden, sollten Sie deren Relevanz sorgfältig prüfen. Bevor Sie Testergebnisse zum Festlegen von Priors heranziehen, stellen Sie sich folgende Fragen:
- Zeitpunkt: Wurde der Test vor, während oder nach dem Zeitraum durchgeführt, den Ihre MMM-Daten abdecken? Ergebnisse aus einem anderen Zeitraum sind möglicherweise nicht direkt übertragbar.
- Dauer: War der Test lang genug, um langfristige Marketingeffekte zu erfassen? Kurze Tests sind dafür oft ungeeignet.
- Komplexität: Wenn der Test mehrere Channels umfasst, liefern die Ergebnisse möglicherweise keine klaren Erkenntnisse zur Leistung einzelner Channels.
- Unterschiede bei Schätzgrößen: Im MMM wird als kontrafaktisches Szenario von null Ausgaben ausgegangen, während einige Tests den ROI relativ zu einer anderen Baseline definieren, etwa zu reduzierten Ausgaben.
- Unterschiede bei der Zielgruppe: Entspricht die im Test betrachtete Zielgruppe derjenigen im MMM?
Fachwissen und Intuition nutzen
Nutzen Sie, wann immer möglich, Ihr Fachwissen, um Priors zu definieren. Ziel ist es, einen plausiblen Wertebereich für die Performance jedes Marketing-Channels festzulegen. Grundlage dafür ist eine fundierte Einschätzung auf Basis verschiedener Quellen, z. B. Fachwissen, frühere Ergebnisse, Branchen-Benchmarks und Inkrementalitätstests.
Inkrementalitätstests bieten oft die beste Grundlage für Ihre Annahmen. Die Ableitung von Priors aus den Ergebnissen ist jedoch keine exakte Formel. Auch Tests haben ihre Grenzen, und unterschiedliche Tests können zu unterschiedlichen Ergebnissen führen. Ihr ROI-Prior sollte eine Synthese aller verfügbaren Informationen sein.
Wenn Ihre Einschätzung zur Leistung eines Channels unsicher ist, ist es in Ordnung, einen schwachen Prior (mit großer Standardabweichung) zu setzen. Je fundierter Ihre Einschätzung, desto sinnvoller ist es, sie über Priors zu berücksichtigen. So wird Ihr Modell robuster gegenüber Datenrauschen.
In der Praxis haben Sie fast immer ein gewisses Gespür. Sie gehen wahrscheinlich davon aus, dass die Wahrscheinlichkeit eines kausalen ROI von 50 für die meisten Channels eher gering ist. Wenn Ihr Unternehmen im Laufe der Jahre viele Tests durchgeführt hat und für einen bestimmten Channel noch nie einen ROI von mehr als 6 beobachtet wurde, sollte dies in Ihrem Prior berücksichtigt werden, indem ROI-Werten über 6 eine sehr geringe Wahrscheinlichkeit zugewiesen wird. Nutzen Sie alle verfügbaren Informationen, um Ihre Priors festzulegen.
Unabhängig davon, wie Sie Ihre Priors festlegen, empfehlen wir immer, sie zu visualisieren und ihre Perzentile zu untersuchen. Fragen Sie sich, ob die Wahrscheinlichkeiten Ihren Erwartungen entsprechen. Wenn beispielsweise 80 % Ihrer Prior-Wahrscheinlichkeitsverteilung über einem ROI von 1,0 liegen, spiegelt das Ihr Vertrauen in die Rentabilität des Channels wider?
Standardabweichung des Priors anhand des Konfidenzniveaus festlegen
Nutzen Sie die Stärke Ihrer Überzeugung, um die Standardabweichung der Prior-Verteilung zu bestimmen. Wenn Sie von der Effektivität eines Channels überzeugt sind, z. B. aufgrund mehrerer Tests mit ähnlichen ROI-Punktschätzungen oder Ergebnissen aus früheren MMMs, können Sie eine kleinere Standardabweichung für den Prior festlegen, um diese hohe Sicherheit auszudrücken. Sind Sie hingegen unsicher, wie gut sich Testergebnisse auf das MMM übertragen lassen, sollten Sie eine größere Standardabweichung wählen, um diese Unsicherheit widerzuspiegeln. Priors sind keine starren Vorgaben, sondern Ausgangspunkte. Wenn die Daten starke Evidenz liefern, die dem Prior widerspricht, passt das Modell seine Schätzungen entsprechend an. Die Standardabweichung des Priors bestimmt dabei, wie stark Ihre anfängliche Überzeugung im Vergleich zur Evidenz in den Daten gewichtet wird.
Nicht informative Priors und Regularisierung
In Meridian ist es hilfreich, informative Priors als mathematische Form der Regularisierung zu betrachten. Regularisierung ist ein Verfahren in der statistischen Modellierung, bei dem zusätzliche Informationen oder Einschränkungen eingeführt werden, um zu verhindern, dass ein Modell sich zu stark an verrauschte Daten anpasst.
Bei gängigen Regularisierungsmethoden wie der Ridge- oder LASSO-Regression werden Schätzungen in der Regel eingeschränkt, indem sie in Richtung null gezogen werden. Das bayessche Framework von Meridian bietet einen flexibleren Ansatz, da die Regularisierung mithilfe des Priors erfolgt. Anstatt standardmäßig gegen null zu regularisieren, lenkt ein informativer Prior das Modell in einen realistischen Wertebereich, der auf Fachwissen oder Verlaufsdaten basiert.
Die Regularisierung über den Prior ist besonders wichtig, da sie einen notwendigen mathematischen Anker bietet, wenn Ihre Daten begrenzt sind oder kein klares Signal enthalten. Auch wenn es verlockend sein kann, für Channels ohne frühere Tests flache, nicht informative Priors zu verwenden, entfällt damit dieser stabilisierende Effekt, was zu Schätzungen mit hoher Varianz oder geringerer Zuverlässigkeit führen kann. Wenn Ihnen weder Testergebnisse noch belastbare Einschätzungen vorliegen, beginnen Sie mit den Standard-Priors von Meridian. Diese dienen als sinnvolle Ausgangspunkte und regularisieren das Modell effektiv. Das ideale Maß an Regularisierung zu finden, ist oft ein iterativer Prozess, bei dem die Güte der Anpassung des Modells außerhalb der Stichprobe bei unterschiedlich starker Regularisierung getestet wird.
Codebeispiele
In den folgenden Beispielen wird gezeigt, wie Sie Prior-Verteilungen in Meridian definieren und verwenden.
Lognormalen Prior auf Grundlage von Einschätzung oder Tests definieren
Meridian bietet zwei Hilfsfunktionen, mit denen Sie lognormale Verteilungen auf Basis von Testergebnissen oder anderem Vorwissen erstellen können:
prior_distribution.lognormal_dist_from_mean_std: Erstellt eine lognormale Verteilung aus gegebenem Mittelwert und Standardabweichung. Sie können hier beispielsweise die Punktschätzung und den Standardfehler eines Tests verwenden.prior_distribution.lognormal_dist_from_range: Erstellt eine lognormale Verteilung so, dass ein bestimmter Wahrscheinlichkeitsanteil (z. B. 95 %) innerhalb eines angegebenen unteren und oberen Werts liegt. Sie können hier beispielsweise das Konfidenzintervall von 95 % eines Tests verwenden.
Auf dieser Seite erfahren Sie, wie Sie einen lognormalen Prior auf Grundlage von Einschätzung oder Tests definieren.
Beispiel: ROI-Kalibrierung anhand von Testergebnissen optimieren
Informationen zum Festlegen von ROI-Priors anhand von Testergebnissen finden Sie unter Priors für bezahlte Media konfigurieren.
Priors visualisieren, um zu prüfen, ob sie den Erwartungen entsprechen
Es wird empfohlen, benutzerdefinierte Priors, insbesondere ROI-Priors, zu visualisieren. So können Sie vor der Analyse prüfen, ob der benutzerdefinierte Prior Ihren Erwartungen entspricht.
Weitere Überlegungen zur Kalibrierung von Priors für Testvariablen
Dieser Abschnitt enthält zusätzliche Überlegungen zur Kalibrierung von Priors für Testvariablen.
Zeitraum für die ROI-Kalibrierung berücksichtigen
Sie können das roi_calibration_period-Argument in ModelSpec verwenden, wenn Ihre Prior-Informationen nur für einen bestimmten Zeitraum relevant sind. Wenn möglich, wird jedoch empfohlen, den Prior für das gesamte Modellierungszeitfenster festzulegen. Dabei sollten alle verfügbaren Informationen, einschließlich Tests und Fachwissen, berücksichtigt werden. Weitere Informationen finden Sie unter Zeitraum für ROI-Kalibrierung festlegen.
Prior-Posterior-Verschiebungen verstehen
Der Vergleich der Verteilungen von Prior und Posterior zeigt, ob das Modell aus den Daten lernt oder stark durch den kalibrierten Prior beeinflusst wird.
Weitere Informationen finden Sie auf der Seite Modellintegritätsprüfungen unter „Prior-Posterior-Verschiebungen für den ROI“.