A pontuação de integridade do modelo do Meridian oferece uma visualização unificada da integridade do modelo combinando seis verificações individuais em uma métrica que varia de 0 a 100. Enquanto os diagnósticos individuais fornecem insights granulares sobre componentes específicos do modelo, a pontuação de integridade oferece uma medição agregada da integridade de um modelo para inferência causal. Para um detalhamento minucioso dos diagnósticos, consulte Verificações de integridade do modelo.
Interpretar pontuações de integridade
Recomendamos que você interprete essas pontuações como insights direcionais, e não como classificações absolutas da qualidade do modelo. Uma pontuação de 90 ou mais sugere que o modelo não apresenta problemas estatísticos graves e é geralmente robusto para a tomada de decisões. Por outro lado, uma pontuação de 70 ou menos indica possíveis erros sistemáticos, e recomendamos que você examine os diagnósticos individuais com atenção para identificar a causa raiz.
Importante: para inferência causal, uma pontuação de 95 não é necessariamente superior a uma pontuação de 90. Nesses intervalos altos, as variações geralmente refletem nuances específicas do canal ou ruído de dados, em vez de uma diferença significativa na confiabilidade. Por exemplo, a falta de uma mudança da distribuição a priori para a posteriori não é necessariamente um indicador negativo. Isso pode significar que a distribuição a priori já estava bem alinhada com os dados observados. Recomendamos que você analise bem os detalhes dos resultados de integridade para entender melhor a performance do modelo e confirmar se os resultados principais, como ROI e contribuição, estão alinhados aos seus objetivos de negócios mais amplos.
Como a pontuação de integridade do modelo é calculada
A lógica da pontuação de integridade segue uma hierarquia estrita em que a validade estatística é um pré-requisito para um resultado significativo. A convergência do modelo serve como o principal critério. Se as cadeias de MCMC não convergirem, as estimativas a posteriori não serão confiáveis e a pontuação de integridade do modelo será zero.
Para modelos convergentes, a pontuação de integridade é calculada como uma média ponderada das pontuações dos componentes ($S_i$) de verificações de integridade realizadas, como qualidade do ajuste, valor de referência negativo e consistência do ROI:
em que $w_i$ representa o peso atribuído a cada verificação. Para mais detalhes, consulte Ponderação de cada verificação de integridade.
Cada verificação de integridade de base usa uma transformação matemática específica para mapear o resultado do diagnóstico na escala de 0 a 100.
Valor p preditivo a posteriori (PPP) bayesiano
O PPP bayesiano funciona como um critério de plausibilidade fundamental para avaliar o ajuste do modelo. Em vez de agir como uma métrica de qualidade contínua, ele é tratado como um indicador binário que mostra se um modelo atende ao limite de plausibilidade estatística. Consulte Valor P preditivo a posteriori bayesiano para saber mais.
PASS(PPP bayesiano>= 0.05): pontuação do componente = 100FAIL(PPP bayesiano< 0.05): pontuação do componente = 0
Valor de referência negativo
Essa verificação avalia a probabilidade a posteriori de que o valor de referência seja negativo ($P_{\text{neg baseline}}$). A metodologia de pontuação se alinha ao princípio de verificação de integridade, em que uma probabilidade menor que 0,2 representa um ruído estatístico insignificante, mas acima de 0,8 indica uma falha fundamental do modelo. Confira mais detalhes sobre essa verificação na seção Valor de referência negativo.
PASS(probabilidade do valor de referência negativo< 0.2): pontuação do componente = 100REVIEW(probabilidade do valor de referência negativo entre0.2e0.8): a pontuação é interpolada linearmente:
FAIL(probabilidade do valor de referência negativo> 0.8): pontuação do componente = 0
Qualidade do ajuste
Para a qualidade do ajuste, a metodologia usa uma função sigmoide para mapear o R ao quadrado na escala de 0 a 100, refletindo um princípio de retornos decrescentes. A curva penaliza bastante os ajustes ruins, aumenta acentuadamente na faixa intermediária (0,3 a 0,7) e se achata à medida que o R ao quadrado se aproxima de 1,0.
Isso desestimula a otimização da acurácia preditiva como principal meio de alcançar uma pontuação de integridade mais alta, quando o objetivo real é a inferência causal. É descontado o esforço marginal necessário para aumentar uma estimativa de, por exemplo, 0,91 para 0,93, já que esses ganhos podem não estar relacionados a insights causais melhores.
Mudança de distribuição do ROI a priori para a posteriori
A pontuação de Mudança de distribuição do ROI a priori para a posteriori é derivada da taxa de falha, definida como a proporção de canais reprovados em relação ao número total de canais aplicáveis, que é transmitida por uma função de transformação de potência.
Isso cria uma zona de tolerância para ruídos leves em alguns canais, mas garante que a pontuação diminua rapidamente caso as falhas se tornem sistêmicas em todo o mix de marketing.
Consistência do ROI
A pontuação de consistência do ROI é derivada da taxa de falha do canal usando a mesma metodologia de transformação de potência usada para a mudança da distribuição do ROI de a priori para a posteriori. Isso garante que valores extremos de ROI, que podem indicar problemas com a estimativa do valor de referência ou a especificação do modelo, sejam refletidos na pontuação de integridade.
Ponderação de cada verificação de integridade
A pontuação de integridade segue uma filosofia de prioridade causal que enfatiza os limites de negócios e a plausibilidade causal em vez da capacidade preditiva bruta. Um modelo que se ajusta perfeitamente aos dados históricos, mas viola uma lógica de negócios fundamental, como sugerir um valor de referência negativo, recebe uma pontuação baixa. Isso garante que o modelo seja confiável para a tomada de decisões, em vez de apenas recompensar valores altos de R ao quadrado. Os pesos atribuídos a cada verificação refletem uma hierarquia baseada em princípios desses critérios. Como não existem informações empíricas para a importância relativa desses diagnósticos, os valores pré-configurados fornecem uma estrutura priorizada projetada para manter a confiabilidade direcional. Recomendamos que você investigue cada verificação para entender completamente a integridade do modelo.
| Verificação de integridade | Peso |
|---|---|
| Valor de referência negativo | 30% |
| PPP bayesiano | 30% |
| Qualidade do ajuste (R ao quadrado) | 10% |
| Mudança de distribuição do ROI a priori para a posteriori | 15% |
| Consistência do ROI | 15% |
Cálculo da pontuação quando as verificações são ignoradas
Para acomodar várias configurações de modelo, a pontuação de integridade usa normalização dinâmica. Se uma verificação específica for ignorada, o peso dela será removido do numerador e do denominador. Por exemplo, a verificação de consistência do ROI não será realizada se distribuições a priori padrão foram usadas. Nesses casos, o peso dela é excluído do cálculo. Os pesos restantes são normalizados para garantir que a pontuação final permaneça em uma escala de 0 a 100, independente do número de verificações ativas.