La puntuación del estado del modelo de Meridian proporciona una vista unificada de la integridad del modelo, ya que combina seis verificaciones de estado individuales en una sola métrica que varía de 0 a 100. Si bien los diagnósticos individuales ofrecen estadísticas detalladas sobre los componentes específicos del modelo, la puntuación del estado del modelo muestra una medida agregada de ese estado para la inferencia causal. Para ver un desglose detallado de los diagnósticos subyacentes, consulta Verificaciones de estado del modelo.
Cómo interpretar las puntuaciones del estado
Te recomendamos que interpretes estas puntuaciones como estadísticas preliminares en vez de clasificaciones absolutas de la calidad del modelo. Una puntuación de 90 o más sugiere que el modelo carece de problemas estadísticos graves y es sólido en general para la toma de decisiones. En cambio, una puntuación de 70 o menos indica posibles errores sistemáticos, y en ese caso te recomendamos que examines detenidamente los diagnósticos individuales para identificar la causa raíz.
Es importante tener en cuenta que, para la inferencia causal, una puntuación de 95 no es necesariamente superior a una de 90. A estos valores altos, las variaciones suelen reflejar matices específicos del canal o incluso el ruido de los datos, en vez de una diferencia significativa en la confiabilidad. Por ejemplo, la ausencia de un cambio entre las distribuciones a priori y a posteriori no siempre es un indicador negativo; en efecto, puede significar que tu distribución a priori ya estaba bien alineada con los datos observados. Te recomendamos que analices con detenimiento los detalles de resultados subyacentes relacionados con el estado para asegurarte de comprender el rendimiento del modelo y confirmar que los resultados clave, como el ROI y la contribución, se correspondan con tus objetivos comerciales más generales.
Comprende cómo se calcula la puntuación del estado del modelo
La lógica de puntuación del estado sigue una jerarquía estricta en la que la validez estadística es un requisito previo para obtener un resultado significativo. La convergencia del modelo sirve como un punto de control principal. Si las cadenas de MCMC no convergen, las estimaciones de la distribución a posteriori no son confiables y la puntuación del estado del modelo es nula.
En el caso de los modelos convergentes, la puntuación del estado se calcula como un promedio ponderado de las puntuaciones de los componentes ($S_i$) que se obtienen de las verificaciones de estado realizadas (tales como bondad del ajuste, modelo de referencia negativo y coherencia del ROI):
donde $w_i$ representa el peso asignado a cada verificación. Para obtener más detalles, consulta Conoce la ponderación de cada verificación de estado.
Cada verificación de estado básica utiliza una transformación matemática específica para asociar los datos de salida del diagnóstico a la escala de 0 a 100.
Valor P predictivo a posteriori (PPP) bayesiano
El PPP bayesiano sirve como un punto de control fundamental de la plausibilidad para evaluar el ajuste del modelo. En lugar de actuar como una métrica de calidad continua, se considera como un indicador binario acerca de si un modelo cumple con el umbral de plausibilidad estadística. Consulta Valor P predictivo a posteriori bayesiano para obtener más información.
PASS(PPP bayesiano>= 0.05): Puntuación de componentes = 100FAIL(PPP bayesiano< 0.05): Puntuación de componentes = 0
Modelo de referencia negativo
Esta verificación evalúa la probabilidad a posteriori de que el modelo de referencia sea negativo ($P_{\text{neg baseline}}$). La metodología de puntuación se adapta al principio de verificación de estado, en el que una probabilidad inferior a 0.2 representa un ruido estadístico insignificante, mientras que una probabilidad superior a 0.8 indica una falla fundamental del modelo. Consulta más detalles sobre esta verificación en la sección Modelo de referencia negativo.
PASS(probabilidad de modelo de referencia negativo< 0.2): Puntuación de componentes = 100REVIEW(probabilidad de modelo de referencia negativo entre0.2y0.8): Puntuación interpolada de forma lineal
FAIL(probabilidad de modelo de referencia negativo> 0.8): Puntuación de componentes = 0
Bondad del ajuste
En el caso de la bondad del ajuste, la metodología utiliza una función sigmoidea para asociar el valor de R cuadrado a la escala de 0 a 100, lo que refleja un principio de retornos decrecientes. La curva penaliza con severidad los ajustes deficientes, se eleva abruptamente en el intervalo intermedio (de 0.3 a 0.7) y se achata a medida que el valor de R cuadrado se aproxima a 1.0.
Esto hace desistir de una optimización orientada a la exactitud predictiva como medio principal para lograr una puntuación del estado más alta, cuando la inferencia causal es el objetivo real. Además, descarta el esfuerzo marginal requerido para llevar una estimación, por ejemplo, de 0.91 a 0.93, ya que este tipo de aumento podría no correlacionarse con mejores estadísticas causales.
Cambio entre las distribuciones a priori y a posteriori del ROI
La puntuación del cambio entre las distribuciones a priori y a posteriori del ROI se deriva de la tasa de fallas, que se define como el ratio de canales que no superan la verificación por la cantidad total de canales correspondientes, y luego se pasa a través de una función de transformación de potencia.
Esto crea una zona de tolerancia para el ruido de poca importancia en algunos canales, pero garantiza que la puntuación se reduzca con rapidez si las fallas se vuelven sistémicas en toda la combinación de marketing.
Coherencia del ROI
La puntuación de la coherencia del ROI se deriva de la tasa de fallas de los canales a través de la misma metodología de transformación de potencia que se utiliza para el cambio entre las distribuciones a priori y a posteriori del ROI. Esto garantiza que los valores extremos del ROI, que podrían indicar problemas en la especificación del modelo o en la estimación del modelo de referencia, se reflejen en la puntuación del estado.
Conoce la ponderación de cada verificación de estado
La puntuación del estado sigue una filosofía de prioridad causal que enfatiza las medidas de protección comerciales y la plausibilidad causal por sobre el poder predictivo sin procesar. Un modelo que se ajusta perfectamente a los datos históricos, pero que incumple la lógica empresarial fundamental (por ejemplo, si indica un modelo de referencia negativo), recibe una puntuación baja. Esto garantiza que el modelo sea confiable para la toma de decisiones, en vez de simplemente recompensar los valores altos de R cuadrado. Los pesos asignados a cada verificación reflejan una jerarquía fundamentada de estos criterios. Dado que no existe una verdad fundamental empírica para la importancia relativa de estos diagnósticos, los valores preconfigurados proporcionan un marco de trabajo priorizado que está diseñado para mantener la confiabilidad direccional. Te recomendamos que examines cada verificación para comprender por completo el estado del modelo.
| Verificación de estado | Peso |
|---|---|
| Modelo de referencia negativo | 30% |
| PPP bayesiano | 30% |
| Bondad del ajuste (R cuadrado) | 10% |
| Cambio entre las distribuciones a priori y a posteriori del ROI | 15% |
| Coherencia del ROI | 15% |
Comprende el cálculo de la puntuación cuando se omiten verificaciones
Para adaptarse a configuraciones del modelo que están sujetas a variaciones, la puntuación del estado utiliza una normalización dinámica. Si se omite una verificación específica, su peso se quita tanto del numerador como del denominador. Por ejemplo, si se usaron distribuciones a priori predeterminadas, no se realiza la verificación de la coherencia del ROI; en ese caso, su peso se excluye del cálculo. Los pesos restantes luego se normalizan para garantizar que la puntuación final se mantenga en una escala de 0 a 100, independientemente de la cantidad de verificaciones activas.