Le score d'état du modèle Meridian offre une vue unifiée de l'intégrité du modèle en combinant six vérifications d'état individuelles en une seule métrique allant de 0 à 100. Alors que les diagnostics individuels fournissent des informations détaillées sur des composants de modèle spécifiques, le score d'état du modèle fournit une mesure globale de l'état d'un modèle pour l'inférence causale. Pour obtenir une analyse détaillée des diagnostics sous-jacents, consultez Vérifications de l'état du modèle.
Interpréter les scores d'état
Nous vous recommandons d'interpréter ces scores comme des insights directionnels plutôt que comme des classements absolus de la qualité des modèles. Un score de 90 ou plus suggère que le modèle ne présente pas de problèmes statistiques graves et qu'il est généralement robuste pour la prise de décision. À l'inverse, un score de 70 ou moins indique des erreurs systématiques potentielles. Nous vous recommandons d'examiner attentivement les diagnostics individuels pour identifier l'origine.
Il est important de noter qu'un score de 95 n'est pas nécessairement supérieur à un score de 90 pour l'inférence causale. À ces niveaux élevés, les variations reflètent souvent des nuances spécifiques au canal ou du bruit dans les données plutôt qu'une différence significative en termes de fiabilité. Par exemple, une variation entre les distributions a priori et a posteriori n'est pas toujours un signal négatif. Il peut signifier que votre valeur a priori était déjà bien alignée sur les données observées. Nous vous recommandons d'analyser attentivement les détails des résultats sur l'état pour bien comprendre les performances du modèle et vérifier que les résultats clés, tels que le ROI et la contribution, correspondent à vos objectifs d'entreprise plus généraux.
Comprendre comment le score d'état du modèle est calculé
La logique du score d'état suit une hiérarchie stricte dans laquelle la validité statistique est une condition préalable à un résultat significatif. La convergence du modèle sert de critère principal. Si les chaînes MCMC n'ont pas convergé, les estimations a posteriori ne sont pas fiables et le score d'état du modèle est nul.
Pour les modèles convergés, le score d'état est calculé comme une moyenne pondérée des scores des composants ($S_i$) à partir des vérifications d'état effectuées, telles que la qualité de l'adéquation, la référence négative et la cohérence du ROI :
où $w_i$ représente la pondération attribuée à chaque vérification. Pour en savoir plus, consultez Comprendre la pondération de chaque vérification de l'état.
Chaque vérification d'état de base utilise une transformation mathématique spécifique pour mapper ses résultats de diagnostic sur l'échelle de 0 à 100.
Valeur-p prédictive a posteriori (PPP) bayésienne
La valeur PPP bayésienne sert de critère de plausibilité fondamental pour évaluer l'adéquation du modèle. Au lieu d'agir comme une métrique de qualité continue, elle est traitée comme un indicateur binaire qui précise si un modèle atteint le seuil de plausibilité statistique. Pour en savoir plus, consultez Valeur P prédictive a posteriori bayésienne.
PASS(Valeur PPP bayésienne>= 0.05) : score du composant = 100FAIL(Valeur PPP bayésienne< 0.05) : score du composant = 0
Référence négative
Cette vérification évalue la probabilité a posteriori que la référence soit négative ($P_{\text{neg baseline}}$). La méthodologie d'attribution de scores s'aligne sur le principe de la vérification de l'état, où une probabilité inférieure à 0,2 représente un bruit statistique négligeable, tandis qu'une probabilité supérieure à 0,8 indique un échec fondamental du modèle. Pour en savoir plus sur ce contrôle, consultez la section Valeur de référence négative.
PASS(probabilité de référence négative< 0.2) : score du composant = 100REVIEW(la probabilité de référence négative est comprise entre0.2et0.8) : le score est interpolé de manière linéaire :
FAIL(probabilité de référence négative> 0.8) : score du composant = 0
Qualité de l'adéquation
Pour la qualité de l'adéquation, la méthodologie utilise une fonction sigmoïde pour mapper le coefficient de détermination sur l'échelle de 0 à 100, ce qui reflète un principe de rendements décroissants. La courbe pénalise fortement les ajustements médiocres, augmente fortement dans la plage intermédiaire (de 0,3 à 0,7) et s'aplatit à mesure que le coefficient de détermination approche 1,0.
Cela décourage l'optimisation de la justesse prédictive comme moyen principal d'obtenir un meilleur score d'état, alors que l'inférence causale est le véritable objectif. Cela réduit l'effort marginal requis pour faire passer une estimation de 0,91 à 0,93, par exemple, car de tels gains ne sont pas forcément corrélés à de meilleurs insights causaux.
Variation entre les distributions a priori et a posteriori du ROI
Le score Variation entre les distributions a priori et a posteriori du ROI est dérivé du taux d'échec, défini comme le ratio entre le nombre de canaux non conformes et le nombre total de canaux applicables, qui est ensuite transmis à une fonction de transformation de puissance.
Cela crée une zone de tolérance pour le bruit réduit dans certains canaux, mais garantit que le score se dégrade rapidement si les échecs deviennent systémiques dans le mix marketing.
Cohérence du ROI
Le score de cohérence du ROI est dérivé du taux d'échec des canaux à l'aide de la même méthodologie de transformation de puissance que celle utilisée pour la variation entre les distributions a priori et a posteriori du ROI. Cela permet de s'assurer que les valeurs de ROI extrêmes, qui peuvent indiquer des problèmes liés à l'estimation de référence ou à la spécification du modèle, sont reflétées dans le score d'état.
Comprendre la pondération de chaque vérification de l'état
Le score d'état suit une philosophie de priorité causale qui met l'accent sur les garde-fous de l'entreprise et la plausibilité causale plutôt que sur la puissance prédictive brute. Un modèle qui s'adapte parfaitement aux données historiques, mais qui enfreint la logique métier fondamentale (par exemple, en suggérant une valeur de référence négative) obtient un score faible. Cela permet de s'assurer que le modèle est fiable pour la prise de décision plutôt que de simplement récompenser les valeurs élevées du coefficient de détermination. Les pondérations attribuées à chaque vérification reflètent une hiérarchie de principes pour ces critères. Comme il n'existe aucune vérité terrain empirique pour l'importance relative de ces diagnostics, les valeurs préconfigurées fournissent un cadre hiérarchisé conçu pour maintenir la fiabilité directionnelle. Nous vous recommandons d'examiner chaque vérification pour bien comprendre l'état du modèle.
| Vérification de l'état | Pondération |
|---|---|
| Référence négative | 30 % |
| Valeur PPP bayésienne | 30 % |
| Qualité de l'adéquation (coefficient de détermination) | 10 % |
| Variation entre les distributions a priori et a posteriori du ROI | 15 % |
| Cohérence du ROI | 15 % |
Comprendre le calcul du score lorsque des vérifications sont ignorées
Pour s'adapter aux différentes configurations de modèle, le score d'intégrité utilise une normalisation dynamique. Si une vérification spécifique est ignorée, sa pondération est supprimée du numérateur et du dénominateur. Par exemple, la vérification de la cohérence du ROI n'est pas effectuée si des a priori par défaut ont été utilisés. Dans de tels cas, sa pondération est exclue du calcul. Les pondérations restantes sont ensuite normalisées pour garantir que le score final reste sur une échelle de 0 à 100, quel que soit le nombre de vérifications actives.