La calibration est le processus qui consiste à utiliser les résultats de tests et d'autres connaissances sur le domaine pour définir des a priori spécifiques aux canaux.
Les a priori par défaut de Meridian sont modérément informatifs. Les données peuvent comporter du bruit. Il est souvent utile de calibrer les a priori de traitement, qui vous permettent de "guider" le modèle avec vos connaissances métier réelles, qu'elles proviennent de tests rigoureux ou de vos attentes professionnelles.
Considérez un a priori calibré comme un "garde-fou". Il peut être tentant d'utiliser des garde-fous faibles, voire de s'en passer (sous la forme d'a priori non informatifs), mais cette approche est risquée et peut nuire à la qualité des résultats du modèle. Pour en savoir plus, consultez la section A priori plats et régularisation.
Par exemple, sans un a priori suffisamment fort, le modèle pourrait estimer qu'un canal avec de faibles dépenses génère des revenus considérables. La calibration des a priori permet de guider les estimations du modèle vers une plage de valeurs réaliste.
Formuler vos croyances antérieures
La calibration des a priori n'est pas un calcul exact. Elle repose sur une combinaison de données, de connaissances sur le domaine et de jugement subjectif.
Une fois votre métrique choisie, vous pouvez passer à la calibration en tenant compte des points suivants.
Utiliser des tests d'incrémentalité
Les tests d'incrémentalité constituent sans doute la base la plus solide pour forger votre intuition, mais convertir les résultats de ces tests en a priori ne relève pas d'une formule exacte.
Du test à l'a priori
Il n'existe pas de formule unique pour traduire un résultat de test en a priori. Au sens bayésien, les connaissances a priori sont définies de manière plus large et ne découlent pas nécessairement d'un calcul formel. Vous pouvez combiner différents éléments de preuve (comme les résultats de plusieurs tests ou d'autres connaissances sur le domaine) et leurs incertitudes dans une seule distribution a priori, plutôt que d'appliquer de manière rigide les résultats d'un seul test.
Une approche courante consiste à utiliser l'estimation ponctuelle d'un test comme moyenne a priori et son erreur standard comme écart-type a priori.
Le framework bayésien de Meridian vous permet de combiner de manière réfléchie différents éléments de preuve (comme les résultats de plusieurs tests ou d'autres connaissances sur le domaine) et leurs incertitudes dans une seule distribution a priori, plutôt que d'appliquer de manière rigide les résultats d'un seul test.
ROI de test vs ROI de MMM
D'un point de vue statistique, les tests et les MMM ont des estimands et des objectifs de mesure différents. En d'autres termes, ils ne définissent pas le ROI de la même manière.
Le ROI mesuré par un test correspond rarement parfaitement au ROI mesuré par la MMM. (D'un point de vue statistique, le test et la MMM ont des estimands différents.) Les tests sont toujours liés aux conditions spécifiques du test, telles que la période, les régions géographiques et les paramètres de la campagne.
Les résultats des tests fournissent des informations très pertinentes, mais n'oubliez pas que leur conversion en un a priori de MMM introduit une part d'incertitude supplémentaire qui va au-delà de la simple erreur standard du test.
Considérations sur la pertinence
Si vous utilisez des tests antérieurs, évaluez soigneusement leur pertinence. Avant d'utiliser les résultats de tests pour définir vos a priori, posez-vous les questions suivantes :
- Calendrier : le test a-t-il été effectué avant, pendant ou après la période couverte par vos données MMM ? Les résultats issus d'une période différente ne sont pas forcément directement applicables.
- Durée : le test a-t-il duré suffisamment longtemps pour rendre compte des effets à long terme du marketing ? Ce n'est pas forcément le cas des tests courts.
- Complexité : si le test porte sur une combinaison de canaux, il peut être difficile d'obtenir des insights clairs sur les performances de chaque canal.
- Différences entre les estimands : le contrefactuel de la MMM correspond à des dépenses nulles, alors que certains tests peuvent définir le ROI par rapport à une autre référence, comme des dépenses réduites.
- Différences de population : la population ciblée lors du test était-elle la même que celle prise en compte dans la MMM ?
Utiliser les connaissances sur le domaine et l'intuition
Dans la mesure du possible, vous pouvez et devez utiliser vos connaissances sur le domaine pour définir vos a priori. Définir des a priori consiste à faire appel à votre intuition pour déterminer une plage de valeurs plausible pour les performances de chaque canal marketing. Ce processus repose sur une combinaison de jugements éclairés, s'appuyant sur diverses sources comme connaissances sur le domaine, les résultats précédents, les benchmarks du secteur et, en particulier, les tests d'incrémentalité.
Les tests d'incrémentalité constituent sans doute la base la plus solide pour forger votre intuition, mais convertir les résultats de ces tests en a priori ne relève pas d'une formule exacte. Même les tests ont leurs limites, et deux tests différents peuvent donner des résultats divergents. Votre a priori de ROI doit constituer une synthèse de toutes les informations dont vous disposez.
Si votre intuition concernant les performances d'un canal est limitée, il est acceptable de définir un a priori faible (c'est-à-dire avec un écart-type élevé). Toutefois, si votre intuition est plus forte, l'intégrer à l'aide d'a priori renforce votre modèle et le rend moins sensible au bruit dans les données.
En pratique, on a presque toujours une certaine intuition. Par exemple, vous estimez probablement que la probabilité d'obtenir un ROI causal de 50 est assez faible pour la plupart des canaux. Si votre entreprise a réalisé de nombreux tests au fil des ans et n'a jamais observé de ROI supérieur à 6 pour un canal spécifique, votre a priori doit en tenir compte en attribuant une probabilité très faible aux valeurs de ROI supérieures à 6. Utilisez toutes les informations dont vous disposez pour définir vos a priori.
Quelle que soit la manière dont vous définissez vos a priori, nous vous recommandons systématiquement de les tracer sous forme de graphique et d'en examiner les centiles. Demandez-vous si ces probabilités sont cohérentes avec vos attentes. Par exemple, si 80 % de votre distribution de probabilité a priori est supérieure à un ROI de 1,0, cela correspond-il à votre niveau de confiance initial dans la rentabilité du canal ?
Utilisez votre niveau de confiance pour définir l'écart-type de l'a priori
Utilisez la force de votre croyance antérieure pour définir l'écart-type de l'a priori. Si vous êtes convaincu de l'efficacité d'un canal (par exemple, grâce à plusieurs tests présentant des estimations ponctuelles de ROI similaires ou à des résultats de MMM précédentes), vous pouvez définir un écart-type plus petit pour l'a priori afin d'indiquer un niveau de confiance élevé. À l'inverse, si vous avez des doutes sur la pertinence des résultats d'un test pour votre MMM, vous pouvez utiliser un écart-type plus élevé pour traduire cette incertitude. N'oubliez pas que les a priori ne sont pas des contraintes rigides, mais plutôt des points de départ. Si les données fournissent des preuves solides qui contredisent l'a priori, le modèle s'ajustera en conséquence. L'écart-type de l'a priori détermine la pondération accordée à votre conviction initiale par rapport aux preuves issues des données.
A priori plats et régularisation
Dans Meridian, il est utile de considérer les a priori informatifs comme une forme mathématique de régularisation. La régularisation est une technique de modélisation statistique qui introduit des informations ou des contraintes supplémentaires pour empêcher un modèle de surapprendre les données bruitées.
Les méthodes de régularisation courantes, telles que la régression ridge ou LASSO, limitent généralement les estimations en les ramenant vers zéro. Le framework bayésien de Meridian propose une approche plus flexible en utilisant l'a priori lui-même pour effectuer la régularisation. Au lieu de tendre par défaut vers zéro, un a priori informatif régularise le modèle vers une plage de valeurs réaliste, ancrée dans les connaissances métier ou les données historiques.
S'appuyer sur les a priori pour régulariser le modèle est particulièrement important, car ils fournissent un ancrage mathématique indispensable lorsque vos données sont limitées ou manquent de signal clair. Il être tentant d'utiliser des a priori plats et non informatifs pour les canaux n'ayant fait l'objet d'aucun test préalable, mais cette approche supprime l'effet stabilisateur recherché et peut entraîner des estimations peu fiables ou présentant une variance élevée. Si vous ne disposez pas de résultats de tests passés ni d'intuition métier, commencez par les a priori par défaut de Meridian. Ces valeurs par défaut constituent des points de départ pertinents qui permettent de régulariser efficacement le modèle. Trouver le degré de régularisation idéal est souvent un processus itératif qui consiste à évaluer l'ajustement du modèle hors échantillon pour différentes intensités de régularisation.
Exemples de code
Les exemples suivants illustrent comment définir et utiliser des distributions a priori dans Meridian.
Exemple : Définir un a priori lognormal en se basant sur l'intuition ou sur des tests
Meridian fournit deux fonctions d'assistance pour vous aider à construire des distributions lognormales à partir de données expérimentales ou d'autres connaissances a priori :
prior_distribution.lognormal_dist_from_mean_std: génère une distribution lognormale à partir d'une moyenne et d'un écart-type donnés. Vous pourriez, par exemple, utiliser ici l'estimation ponctuelle et l'erreur standard d'un test.prior_distribution.lognormal_dist_from_range: génère une distribution lognormale dans laquelle une masse de probabilité spécifiée (telle que 95 %) est comprise entre des limites inférieure et supérieure données. Vous pourriez, par exemple, utiliser ici l'intervalle de confiance à 95 % d'un test.
Consultez cette page pour découvrir comment définir un a priori lognormal à partir de votre intuition ou de tests.
Exemple : Ajuster la calibration du ROI en fonction des résultats de tests
Consultez Configurer les a priori média payant pour découvrir comment définir des a priori de ROI en fonction des résultats de tests.
Représenter vos a priori sous forme graphique pour confirmer qu'ils correspondent à votre intuition
Nous vous recommandons de représenter les a priori personnalisés sous forme graphique et de les visualiser, en particulier les a priori du ROI. Vous pouvez ainsi vérifier que l'a priori personnalisé correspond bien à vos attentes avant de poursuivre l'analyse.
Autres considérations à prendre en compte pour calibrer les a priori de traitement
Cette section présente des éléments supplémentaires à prendre en compte pour calibrer les a priori de traitement.
Tenir compte de la période de calibration du ROI
Vous pouvez envisager d'utiliser l'argument roi_calibration_period dans ModelSpec si vos informations a priori ne concernent qu'une période spécifique. Toutefois, nous vous recommandons de définir un a priori sur l'ensemble de la période de modélisation chaque fois que possible. Toutes les informations disponibles, y compris les tests et les connaissances sur le domaine, doivent être utilisées pour définir cet a priori. Pour en savoir plus, consultez Définir la période de calibration du ROI.
Comprendre les évolutions entre l'a priori et l'a posteriori
Comparer l'évolution des distributions entre l'a priori et l'a posteriori permet de déterminer si le modèle apprend effectivement des données ou s'il reste fortement influencé par l'a priori que vous avez calibré.
Pour en savoir plus, consultez la section sur les évolutions entre l'a priori et l'a posteriori dans les contrôles qualité post-modélisation de Meridian.