Qualitätsprüfungen nach der Modellierung

Weiter zu:

• Qualitätsprüfungen durchführen
• Diagnosestatus interpretieren
• Konvergenz
• Negative Baseline
• Bayesscher PPP-Wert (Posterior Predictive P)
• Güte der Anpassung
• Prior-Posterior-Verschiebung für den ROI
• ROI-Konsistenz

Qualitätsprüfungen durchführen

Nachdem Ihr Modell trainiert wurde, müssen Sie seine Integrität und Stabilität bewerten, bevor Sie die Ergebnisse für kausale Inferenz verwenden können. Diese Qualitätsprüfungen nach der Modellierung dienen dazu, häufige Probleme im Zusammenhang mit Modellkonvergenz, Modellspezifikation und der Plausibilität der Ergebnisse zu erkennen.

Mithilfe dieser Prüfungen können Sie potenzielle Probleme erkennen, nachvollziehen, wie Ihre Daten in das Modell eingeflossen sind, und sich davon überzeugen, dass die Ausgaben des Modells zuverlässig und geschäftlich sinnvoll sind.

Führen Sie den folgenden Befehl aus, um die Ergebnisse für alle erforderlichen Diagnosen auf dieser Seite zu generieren:

from meridian.analysis.review import reviewer

reviewer.ModelReviewer(mmm).run()

Diagnosestatus interpretieren

Für jede Diagnoseprüfung auf dieser Seite wird einer von drei Statuswerten zurückgegeben. Hier finden Sie die Idee bzw. das Prinzip hinter jedem dieser Status:

• PASS (BESTANDEN): Dieser Status dient nur zur Information und erfordert keine Aktion des Nutzers.

• REVIEW (ÜBERPRÜFEN): Dieser Status wird angezeigt, wenn ein Ergebnis vom Geschäftskontext abhängt und es sich nicht um einen eindeutigen Pass oder Fail handelt. Überprüfen Sie das Ergebnis manuell, um zu entscheiden, ob weitere Maßnahmen erforderlich sind. In der Regel können Sie beim Status REVIEW fortfahren, solange Sie das Ergebnis überprüft und seine Auswirkungen verstanden haben.

• FAIL (NICHT BESTANDEN): Dies ist eine kritische Meldung, die darauf hindeutet, dass bei der Prüfung ein schwerwiegendes Problem erkannt wurde. Es wird dringend empfohlen, das Problem zu beheben, bevor Sie fortfahren, da die Ergebnisse des Modells für kausale Inferenz möglicherweise nicht zuverlässig sind.

Konvergenz

Die Modellkonvergenz ist eine grundlegende Voraussetzung für die Interpretation von Schätzungen aus einem bayesschen Modell wie Meridian. Ohne Konvergenz sind Schätzungen willkürlich und stellen die Posterior-Verteilung nicht richtig dar.

Meridian verwendet den „Potential Scale Reduction Factor“ (R-hat) nach Gelman und Rubin (1992), um die Konvergenz zu diagnostizieren. Dabei wird die Varianz zwischen den Ketten mit der Varianz innerhalb der einzelnen Ketten verglichen. Wenn die Ketten konvergiert sind, sind diese Varianzen nahezu identisch und der R-hat-Wert liegt nahe bei 1,0.

Um ein einzelnes, klares Signal für das gesamte Modell zu liefern, wird in Meridian der max_r_hat-Wert für alle Modellparameter angegeben. Dieser einzelne Wert bestimmt den allgemeinen Konvergenzstatus des Modells.

Bedingung	Status	Empfehlung
max_r_hat < 1.2	PASS	Das Modell ist wahrscheinlich konvergiert, da alle Parameter R-hat-Werte unter 1,2 haben.
max_r_hat >= 1.2 und < 10	FAIL	Das Modell ist noch nicht vollständig konvergiert und der max_r_hat-Wert für Parameter X ist Y. Prüfen Sie die Parameter mit hohen R-hat-Werten manuell, um zu entscheiden, ob die Ergebnisse für Ihren Anwendungsfall akzeptabel sind. Erwägen Sie, die Anzahl der MCMC-Iterationen (Markow-Chain-Monte-Carlo-Verfahren) zu erhöhen oder prüfen Sie, ob das Modell möglicherweise falsch spezifiziert wurde.
max_r_hat >= 10	FAIL	Das Modell ist nicht konvergiert und der max_r_hat-Wert für Parameter X ist Y. Wir empfehlen, die Anzahl der MCMC-Iteration zu erhöhen oder die Modellspezifikation zu untersuchen (z. B. Priors, Multikollinearität), bevor Sie fortfahren.

Wenn der max_r_hat-Wert Ihres Modells 1,2 oder höher ist, sollten Sie nach der Ursache suchen, bevor Sie den Ausgaben des Modells vertrauen. So beheben Sie Konvergenzprobleme:

• Anzahl der MCMC-Iterationen erhöhen: Versuchen Sie zuerst, die Anzahl der MCMC-Iterationen zu erhöhen. Möglicherweise benötigt das Modell mehr Zeit, um die Posterior-Verteilung zu untersuchen und einen stabilen Zustand zu erreichen.

• Modell untersuchen: Wenn das Konvergenzproblem weiterhin besteht, nachdem Sie die Anzahl der Iterationen erhöht haben, sollten Sie das Modell auf mögliche Fehler in der Spezifikation untersuchen. Dazu gehört, dass Sie die Priors sorgfältig prüfen und nach hoher Multikollinearität zwischen Ihren Vorhersagevariablen suchen.

Weitere Informationen finden Sie unter MCMC-Konvergenz erreichen.

Negative Baseline

In Meridian stellt die Baseline das erwartete Ergebnis (z. B. Umsatz, Conversions) im kontrafaktischen Szenario dar, in dem alle Testvariablen auf ihre Baseline-Werte festgelegt sind. So können wir nachvollziehen, was mit dem Ergebnis passiert wäre, wenn Sie im Analysezeitraum keine Variablen für bezahlte oder organische Media oder andere nicht mediabezogene Testvariablen verwendet hätten.

Eine korrekte Schätzung der Baseline ist unerlässlich, da sie die Grundlage für die Ermittlung der inkrementellen Wirkung Ihrer Marketingmaßnahmen bildet. Eine falsche Baseline kann zu erheblichen Fehlinterpretationen der tatsächlichen Auswirkungen Ihrer Marketingmaßnahmen führen.

Da das Ergebnis in der Regel nicht negativ sein kann, weist eine negative Baseline auf einen statistischen Fehler hin. Allerdings ist es wichtig, die Schwere genau einzuordnen. Wie alle statistischen Modelle weist auch Meridian gewisse Fehler auf. Ein gelegentlicher, geringer Ausschlag in den negativen Bereich ist daher nicht unbedingt ein großes Problem. Eine durchgehend negative Baseline hingegen stellt eindeutig ein Problem dar. Sie würde bedeuten, dass Ihre Umsätze ohne jegliches Marketing durchweg negativ gewesen wären, was in der Realität keinen Sinn ergibt. Das ist ein starkes Signal dafür, dass das Modell die Testeffekte überschätzt. Das liegt wahrscheinlich daran, dass organisches Wachstum oder andere nicht gemessene positive Effekte fälschlicherweise Ihren Testvariablen zugeordnet werden.

Da Meridian ein statistisches und probabilistisches Modell ist, kann zwischen diesen Szenarien unterschieden werden, indem die Baseline probabilistisch bewertet wird, anstatt nur eine einzelne Punktschätzung zu betrachten. Der zentrale Messwert ist dabei die Posterior-Wahrscheinlichkeit, dass die Baseline – aggregiert über den gesamten Zeitraum – negativ ist. Eine hohe Wahrscheinlichkeit dieser Art deutet auf einen hohen statistischen Fehler hin und darauf, dass das Modell angepasst werden muss. Eine detailliertere Erklärung finden Sie unter Negativität der Baseline prüfen.

Meridian bewertet diese Wahrscheinlichkeit, um Ihnen bei der Diagnose Ihres Modells zu helfen:

Bedingung	Status	Empfehlung
Wahrscheinlichkeit für negative Baseline < 0.2	PASS	Die Posterior-Wahrscheinlichkeit, dass die Baseline negativ ist, beträgt X. Sie sollten sich die Baseline-Zeitreihe in den Diagrammen zur Anpassung des Modells ansehen, um dies zu bestätigen.
Wahrscheinlichkeit für negative Baseline zwischen 0.2 und 0.8	REVIEW	Die Posterior-Wahrscheinlichkeit, dass die Baseline negativ ist, beträgt X. Das bedeutet, dass die Baseline-Zeitreihe gelegentlich negative Werte aufweist. Sie sollten sich die Baseline-Zeitreihe in den Diagrammen zur Anpassung des Modells ansehen, es gibt aber nicht wirklich Grund zur Sorge. Ein vereinzelter, kleiner negativer Ausschlag kann auf einen geringfügigen statistischen Fehler hinweisen, wie er bei jedem Modell auftritt.
Wahrscheinlichkeit für negative Baseline > 0.8	FAIL	Die Posterior-Wahrscheinlichkeit, dass die Baseline negativ ist, beträgt X. Diese hohe Wahrscheinlichkeit weist auf einen statistischen Fehler hin und zeigt klar, dass das Modell angepasst werden muss. Das Modell überschätzt vermutlich die Auswirkungen Ihrer Maßnahmen. Passen Sie Modelleinstellungen, Daten oder Priors entsprechend an.

Wenn die Wahrscheinlichkeit für eine negative Baseline in Ihrem Modell hoch ist (d. h. über 0,8), sollten Sie die Spezifikation, die Kontrollvariablen und den gerichteten azyklischen Graphen (directed acyclic graph, DAG) Ihres Modells überprüfen. Weitere Informationen finden Sie unter Negative oder niedrige Baseline anpassen.

Bayesscher PPP-Wert (Posterior Predictive P)

Der bayessche PPP-Wert (Posterior Predictive P) ist ein leistungsstarkes Diagnosetool, mit dem die Gesamtgüte Ihres Modells geprüft wird. Er wird manchmal auch als bayesscher P-Wert bezeichnet. Mit diesem Wert wird die Frage beantwortet: „Entsprechen die von meinem Modell simulierten Daten den echten Daten, die ich beobachtet habe?“ Wenn das Modell die zugrunde liegenden Muster der Daten richtig gelernt hat, sollten die simulierten Daten statistisch nicht von den echten Daten zu unterscheiden sein. Sehen die simulierten Daten völlig anders aus, ist das ein starkes Anzeichen dafür, dass das Modell falsch spezifiziert ist und nicht gut zu den Daten passt. Weitere Informationen finden Sie im Abschnitt 6.3 von Bayesian Data Analysis.

Für diese Prüfung verwendet Meridian die Gesamtsumme des Ergebnisses (über alle geografischen Einheiten und Zeiträume hinweg) als Messwert für den Test. Dabei wird die Verteilung des erwarteten Gesamtergebnisses ($T(y_{\text{exp}})$) aus den Posterior-Stichproben mit dem einzelnen beobachteten Gesamtergebnis ($T(y)$) verglichen. Eine einfache Möglichkeit für diesen Vergleich besteht darin, den einseitigen p-Wert bzw. den Perzentilrang der beobachteten Gesamtsumme ($T(y)$) innerhalb der Verteilung der erwarteten Gesamtsummen zu berechnen. Dieser wird so berechnet:

$$ \frac{1}{S} \sum_{s=1}^{S} \mathbb{I}(T(y_{\text{exp}}^{(s)}) \geq T(y)), $$

wobei $S$ die Gesamtzahl der Posterior-Stichproben ist. Bei dieser Berechnung liegt eine „extreme“ oder „schlechte“ Modellanpassung vor, wenn sich die beobachteten Daten entweder im extremen linken Randbereich (ein p-Wert nahe 0) oder extremen rechten Randbereich (ein p-Wert nahe 1) der posterior-prädiktiven Verteilung (posterior predictive distribution) des erwarteten Ergebnisses befinden. Zu Berichtszwecken wird der p-Wert so transformiert, dass Werte nahe 0 beide extreme Randbereiche repräsentieren (entsprechend der Interpretation eines frequentistischen p-Werts). Die konzeptionelle Nullhypothese ist, dass die beobachteten Daten vom Modell generiert wurden. Die Nullhypothese wird sozusagen „verworfen“, wenn der p-Wert unter einen vordefinierten Schwellenwert fällt.

Hinweis: Dieser spezielle PPP-Messwert ist ein globales Diagnosemaß, das über den gesamten MMM-Zeitraum hinweg aggregiert wird. Obwohl diese Gesamtbetrachtung hilfreich ist, kann die Aggregation lokale Fehlanpassungen verbergen, etwa wenn das Modell in einem Monat zu hohe und in einem anderen zu niedrige Werte vorhersagt. Dieser globale Ansatz entspricht jedoch der Art und Weise, wie auch andere zentrale Messwerte wie der Gesamt-ROI oder die Wahrscheinlichkeit einer negativen Baseline erfasst werden. Daher dient der PPP als wichtiger Indikator der allgemeinen Modellplausibilität und nicht als Instrument zum Erkennen feinerer Fehlanpassungen in bestimmten Zeiträumen oder einzelnen geografischen Einheiten.

Bedingung	Status	Empfehlung
Bayesscher PPP-Wert >= 0.05	PASS	Der bayessche PPP-Wert ist X. Das beobachtete Gesamtergebnis stimmt mit dem PPP-Wert des Modells überein.
Bayesscher PPP-Wert < 0.05	FAIL	Der bayessche PPP-Wert ist X. Das beobachtete Gesamtergebnis ist im Vergleich zu den vom Modell erwarteten Gesamtergebnissen ein extremer Ausreißer, was auf eine systematische Fehlanpassung hinweist. Wir empfehlen, die Qualität der Eingabedaten zu überprüfen. Außerdem sollten Sie sich die Modellspezifikation (z. B. Priors, Transformationen) noch einmal ansehen, um dieses Problem zu beheben.

Ein FAIL-Status für den PPP-Wert ist ein starker Hinweis auf Probleme mit der Modellspezifikation, z. B. fehlende Variablen, Datenprobleme, die in der explorativen Datenanalyse nicht erkannt wurden, falsche Priors oder fehlerhafte Annahmen zu Adstock-Verfall, Sättigung oder Baseline. Wir empfehlen, die Qualität Ihrer Eingabedaten gründlich auf Anomalien, Ausreißer oder Fehler in den KPI-, Media- und Kontrollvariablen zu prüfen. Sehen Sie sich die Modellspezifikation außerdem noch einmal an und achten Sie dabei besonders auf die Auswahl der Priors, die Baseline und die Eignung der Adstock- und Hill-Transformationen. Vergleichen Sie den bayesschen PPP-Wert schließlich mit anderen wichtigen Modelldiagnosen wie Konvergenz, R-Quadrat und Residuendiagrammen, um einen ganzheitlichen Überblick über die Modellleistung zu erhalten.

Güte der Anpassung

Messwerte für die Güte der Anpassung geben an, wie gut die Vorhersagen eines Modells mit den tatsächlich beobachteten Daten übereinstimmen. Sie dienen als wichtiger Indikator für die Zuverlässigkeit, sollten aber mit Vorsicht interpretiert werden, da das primäre Ziel eines MMM eine korrekte kausale Inferenz ist und nicht die maximale Vorhersagegenauigkeit. Meridian gibt drei Standardmesswerte aus:

• R-Quadrat: Der Anteil der Varianz in der Ergebnisvariablen, der durch das Modell erklärt wird. Ein Wert näher an 1 deutet auf eine bessere Anpassung hin.

• Mittlerer absoluter prozentualer Fehler (Mean Absolute Percentage Error, MAPE): Die durchschnittliche absolute prozentuale Differenz zwischen vorhergesagten und tatsächlichen Werten. Je näher der Wert an 0 % liegt, desto besser.

• Gewichteter MAPE (Weighted Mean Absolute Percentage Error, wMAPE): Eine Variante von MAPE, bei der Fehler nach dem tatsächlichen Ergebniswert (z. B. Umsatz) gewichtet werden. wMAPE wird oft gegenüber MAPE bevorzugt, da geografische Einheiten und Zeiträume mit geringen Ergebnissen hier weniger stark gewichtet werden. Andernfalls kann der Fehlermesswert aufgebläht werden.

Diese Messwerte werden für jedes Modell erfasst und dienen in erster Linie als Tool für den relativen Vergleich mit anderen Kandidatenmodellen.

Hinweis: Ein Modell mit den besten Werten für die Anpassung ist nicht immer das beste Modell für kausale Statistiken. Wenn Ihre Marke beispielsweise organisch wächst, können sowohl Umsatz als auch Werbeausgaben im Laufe der Zeit steigen. Ein Modell kann durch die Anpassung an diesen gemeinsamen Trend einen hohen R-Quadrat-Wert erreichen. Das organische Wachstum wird dann jedoch fälschlicherweise den Werbeausgaben zugeordnet und die tatsächliche kausale Beziehung überbewertet. Verwenden Sie diese Messwerte immer in Verbindung mit anderen Analysen und Ihrem geschäftlichen Know-how.

Bedingung	Status	Empfehlung
R-Quadrat > 0	PASS	R-Quadrat = X, MAPE = Y und wMAPE = Z. Diese Messwerte für die Güte der Anpassung dienen als Orientierungshilfe und für relative Vergleiche.
R-Quadrat <= 0	REVIEW	R-Quadrat = X, MAPE = Y und wMAPE = Z. Ein negativer R-Quadrat-Wert deutet auf einen potenziellen Konflikt zwischen Ihren Priors und den Daten hin und sollte untersucht werden. Ist dieser Konflikt beabsichtigt (aufgrund eines informativen Priors), sind keine weiteren Maßnahmen erforderlich. Wenn nicht, empfehlen wir, die Priors weniger restriktiv zu gestalten.

Diese Messwerte für die Anpassung haben normalerweise den Status PASS, da sie als Orientierungshilfe und für relative Vergleiche gedacht sind. Wenn der R-Quadrat-Wert jedoch negativ ist, wird in Meridian der Status REVIEW zurückgegeben. Ein negativer R-Quadrat-Wert ist oft auf zu informative Priors zurückzuführen, die mit den Mustern in Ihren Daten in Konflikt stehen. Dieser Konflikt ist ein wichtiges Diagnosesignal, aber nicht per se „schlecht“. Sie müssen dies vor dem Hintergrund Ihrer Modellierungsziele beurteilen, da der Konflikt möglicherweise beabsichtigt ist. Sie könnten beispielsweise einen starken, auf Tests basierenden Prior verwenden, um einem bekannten Bias (z. B. einem fehlenden Störfaktor) entgegenzuwirken, der Ihrer Meinung nach in den Beobachtungsdaten vorhanden ist. In diesem Fall wird durch den negativen R-Quadrat-Wert nur die Spannung verdeutlicht, die Sie eingeführt haben.

Beim Status REVIEW-Status sollten Sie daher untersuchen, warum dieser Konflikt auftritt. Ist der Konflikt unbeabsichtigt (und nicht eine bewusste Entscheidung wie im Beispiel oben), sollten Sie Ihre Priors überprüfen und weniger restriktiv gestalten. Wenn das Problem weiterhin besteht, untersuchen Sie die Struktur des Modells auf andere Probleme, z. B. fehlende wichtige Variablen oder falsche Annahmen über die Beziehungen zwischen den Vorhersagevariablen und dem Ergebnis. Weitere Informationen finden Sie unter Negativer R-Quadrat-Wert.

Bayesscher PPP-Wert im Vergleich zum R-Quadrat-Wert

Der bayessche PPP-Wert und der R-Quadrat-Wert ergänzen einander. Das R-Quadrat ist ein relativer Messwert, der vor allem zum Vergleich verschiedener Modelle dient, z. B. ob das R-Quadrat von Modell A besser ist als das von Modell B. Im Gegensatz dazu ist der bayessche PPP-Wert ein absolutes Maß für die Modellgüte.

Außerdem misst das R-Quadrat in der Regel die durch die Punktschätzung des Modells erklärte Varianz. Der bayessche PPP-Wert berücksichtigt dagegen die Schätzunsicherheit und prüft, ob die beobachteten Daten eine plausible Stichprobe aus dem Modell darstellen.

Ein FAIL-Status beim bayesschen PPP weist darauf hin, dass das Modell grundsätzlich falsch spezifiziert ist. Umgekehrt kann der R-Quadrat-Wert auch dann niedrig sein, wenn das Modell perfekt spezifiziert ist, weil der zugrunde liegende Prozess von Natur aus verrauscht ist.

Prior-Posterior-Verschiebung für den ROI

Ein grundlegendes Konzept in der bayesschen Modellierung ist das „Lernen aus Daten“. Mit dieser Prüfung können Sie nachvollziehen, wie viel das Modell tatsächlich aus den Daten lernt, indem Sie die Prior- mit der Posterior-Verteilung vergleichen. Dabei ergeben sich zwei zentrale Interpretationsmöglichkeiten:

• Wenn es eine deutliche Veränderung gibt, ist das in der Regel ein gutes Zeichen. Das bedeutet, dass die Daten, die zum Anpassen des MMM verwendet wurden, informativ genug sind, um die ursprünglichen Annahmen des Modells zu aktualisieren. Das führt zu einer präziseren datengestützten Schätzung.

• Wenn es nur eine geringe oder gar keine Verschiebung gibt, sind die Informationen in den Daten, die zum Anpassen des MMM verwendet werden, im Vergleich zu den Informationen im Prior schwach. Das kann zwei Hauptursachen haben:

  • Geringe Informationsdichte in den Daten: Die Daten für diesen Channel sind zu spärlich, verrauscht oder weisen zu wenig Variation auf. Wenn die Daten nur wenige Informationen enthalten, fallen Prior und Posterior ähnlich aus. Bei Channels mit niedrigen Ausgaben ist es besonders wahrscheinlich, dass dies der Fall ist. Die beste Vorgehensweise ist oft, den Channel mit einem anderen ähnlichen Channel zusammenzuführen, um das Signal zu verstärken. Wenn es keinen geeigneten Channel zum Zusammenführen gibt, ist es besser, den Channel in das Modell aufzunehmen und sich auf das vorhandene Vorwissen zu stützen (sofern es zumindest annähernd plausibel ist), als den Channel vollständig wegzulassen. Einen angemessenen Prior zu verwenden ist besser, als den Channel im Modell vollständig zu ignorieren. Das Entfernen des Channels sollte nur als letzte Option in Betracht gezogen werden, etwa wenn die Ausgaben tatsächlich vernachlässigbar sind und der Channel sich nicht sinnvoll mit anderen Channels kombinieren lässt. Weitere Informationen finden Sie unter Wenn der Posterior gleich dem Prior ist.

  • Starke Informationen im Prior: Der Prior wurde absichtlich sehr stark gewählt (mit geringer Varianz). Das ist nicht unbedingt ein Nachteil. Wenn der Prior auf fundiertem externen Wissen basiert (z. B. aus einem früheren kausalen Test, der nicht zum Anpassen dieses Modells verwendet wurde), ist es vollkommen in Ordnung und zu erwarten, dass der Prior mehr Informationen enthält als die Modelldaten. In diesem Fall ist es unproblematisch, wenn keine Verschiebung auftritt.

Sie können diese Verschiebung auch visuell prüfen. Führen Sie den folgenden Befehl aus, um die Posterior-Verteilung für den ROI im Vergleich zur entsprechenden Prior-Verteilung für die einzelnen Media-Channels darzustellen:

model_diagnostics = visualizer.ModelDiagnostics(meridian)
model_diagnostics.plot_prior_and_posterior_distribution()

Quantitativ führt Meridian zweiseitige Hypothesentests für wichtige Messwerte (Mittelwert, Median sowie erstes und drittes Quartil) des ROI-Parameters für jeden kostenpflichtigen Media-Channel durch. Dabei wird geprüft, ob der statistische Messwert aus dem Prior (z. B. der Prior-Mittelwert) außerhalb eines Konfidenzintervalls liegt, das aus den Posterior-Stichproben erstellt wurde. Dazu wird ein nicht parametrischer Bootstrap verwendet:

1. Aus den Posterior-Stichproben wird durch wiederholtes Resampling eine empirische Verteilung für den jeweiligen Messwert (z. B. den Mittelwert) generiert.

2. Anschließend wird ein zweiseitiger Hypothesentest durchgeführt, bei dem die Nullhypothese lautet, dass der Posterior-Messwert dem entsprechenden Prior-Messwert entspricht.

3. Beim Test werden p-Werte berechnet. Dazu wird ermittelt, welcher Anteil der gebootstrappten Posterior-Messwerte größer oder kleiner ist als der Prior-Wert.

4. Wenn der p-Wert unter dem Signifikanzniveau ($\alpha=0,05$) liegt, wird die Nullhypothese verworfen und für diesen Messwert eine signifikante Änderung gemeldet.

Ein Channel wird in der Empfehlungstabelle als „keine signifikante Prior-Posterior-Verschiebung“ gekennzeichnet, wenn bei keinem seiner zentralen Messwerte eine signifikante Verschiebung festgestellt wird.

Bedingung	Status	Empfehlung
Bei allen Channels gibt es eine deutliche Prior-Posterior-Verschiebung.	PASS	Das Modell hat erfolgreich aus den Daten gelernt. Das ist ein gutes Zeichen dafür, dass Ihre Daten aussagekräftig waren.
Bei mindestens einen Channel gibt es keine signifikante Prior-Posterior-Verschiebung.	REVIEW	Bei Channels X, Y und Z unterscheidet sich die Posterior-Verteilung nicht wesentlich von der Prior-Verteilung. Das deutet darauf hin, dass das Datensignal für diese Channels nicht stark genug war, um die Annahmen des Modells zu aktualisieren. Bitte prüfen Sie, ob dieses Ergebnis zu erwarten ist (aufgrund starker Priors) oder ob es auf ein Problem hinweist (ein schwaches Datensignal).

Hinweis: Die Prüfung der Prior-Posterior-Verschiebung und nachfolgende Prüfung der ROI-Konsistenz werden nur unterstützt, wenn ROI-Priors verwendet werden. Bei anderen Priors werden beide übersprungen.

ROI-Konsistenz

Der ROI ist oft die am stärksten hinterfragte Ausgabe eines MMM. Diese Prüfung trägt dazu bei, dass die ROI-Schätzungen des Modells plausibel sind. Extreme ROI-Werte können auf zugrunde liegende Probleme hinweisen, z. B. mit der Schätzung der Baseline oder der Modellspezifikation.

Bei dieser Prüfung wird der Posterior-Mittelwert des ROI für jeden kostenpflichtigen Media-Channel mit der entsprechenden benutzerdefinierten Prior-Verteilung verglichen. Der ROI eines Channels wird als Ausreißer gekennzeichnet, wenn sein Posterior-Mittelwert in die extremen Randbereiche der Prior-Verteilung fällt. Ein REVIEW-Status wird ausgelöst, wenn die Schätzung über dem 99. Perzentil oder unter dem 1. Perzentil Ihrer angegebenen Priors liegt.

Bedingung	Status	Empfehlung
Bei allen Channels liegt der Posterior-Mittelwert des ROI zwischen dem 1. und dem 99. Perzentil der entsprechenden Prior-Verteilung.	PASS	Die Posterior-Verteilung des ROI liegt in einem angemessenen Bereich und stimmt mit den von Ihnen bereitgestellten benutzerdefinierten Priors überein.
Für mindestens einen Channel liegt der Posterior-Mittelwert des ROI in den extremen Randbereichen seiner Prior-Verteilung (d. h. über dem 99. Perzentil oder unter dem 1. Perzentil).	REVIEW	Bei Channels X, Y und Z fällt der Posterior-Mittelwert in den extremen Randbereich Ihres benutzerdefinierten Priors. Bitte prüfen Sie, ob dieses Ergebnis in Ihrem geschäftlichen Kontext plausibel ist.

Diese Prüfung wird nur durchgeführt, wenn benutzerdefinierte Priors festgelegt sind. Sie wird übersprungen, wenn Standard-Priors verwendet werden. Ziel ist es, einen Konflikt zwischen dem datengestützten Ergebnis des Modells (dem Posterior) und Ihrer expliziten, expertenbasierten Geschäftshypothese (dem benutzerdefinierten Prior) zu erkennen. Die Prüfung dient als umsetzbare Warnung, wenn die Daten stark von Ihren Annahmen abweichen. In diesem Fall sollten Sie entweder das Modell oder die Annahmen überprüfen. Standard-Priors sind hingegen keine Geschäftshypothesen, sondern allgemeine statistische Instrumente für die Regularisierung. Da sie bewusst breit gefasst sind und nicht Ihr spezifisches Geschäftswissen widerspiegeln, würde ein Vergleich des Modellergebnisses mit ihnen keine aussagekräftigen oder umsetzbaren Informationen liefern.