A calibragem é o processo de usar resultados de experimentos e outros conhecimentos do domínio para definir distribuições a priori específicas do canal.
As distribuições a priori padrão do Meridian são moderadamente informativas. Os dados podem ser ruidosos. Muitas vezes, é útil calibrar distribuições a priori de tratamento, o que permite "guiar" o modelo com o seu conhecimento de negócios do mundo real, seja ele de experimentos rigorosos ou das suas expectativas profissionais.
Pense em uma distribuição a priori calibrada como uma grade de proteção. É tentador ter proteções fracas ou inexistentes (na forma de distribuições a priori não informativas), mas isso pode ser arriscado e levar a resultados ruins do modelo. Para mais informações, consulte Distribuições a priori uniformes e regularização.
Por exemplo, sem uma distribuição a priori razoavelmente forte, o modelo pode estimar que um canal com poucos gastos está gerando uma receita enorme. A calibragem das distribuições a priori ajuda a orientar as estimativas do modelo para um intervalo realista.
Formular as crenças a priori
A calibragem de distribuições a priori não é um cálculo preciso. Ela combina os dados com o conhecimento do domínio e um julgamento subjetivo.
Depois de escolher a métrica, você pode começar a calibragem. Ao calibrar, considere o seguinte.
Usar experimentos de incrementalidade
Os experimentos de incrementabilidade são possivelmente a base mais sólida para formular sua intuição, mas transformar os resultados em distribuições a priori não é uma fórmula precisa.
Do experimento à distribuição a priori
Não existe uma fórmula específica para transformar o resultado de um experimento em uma distribuição a priori. O pensamento bayesiano define o conhecimento de distribuições a priori de maneira mais ampla, sem precisar de fórmulas. Você pode combinar diferentes evidências, como resultados de vários experimentos ou outros conhecimentos do domínio, e as incertezas delas em uma única distribuição a priori, em vez de aplicar rigidamente o resultado de um experimento.
Uma abordagem comum é usar a estimativa pontual de um experimento como a média da distribuição a priori e o erro padrão como o desvio padrão da distribuição a priori.
A estrutura bayesiana do Meridian permite combinar diferentes evidências (como resultados de vários experimentos ou outros conhecimentos do domínio) e suas incertezas em uma única distribuição a priori, em vez de aplicar rigidamente o resultado de um experimento.
ROI do experimento x ROI da MMM
Em termos estatísticos, os experimentos e as MMMs têm estimadores e metas de medição diferentes, ou seja, definem o ROI de maneiras distintas.
Os valores de ROI medidos por um experimento e pela MMM raramente alinham-se de maneira perfeita. Em termos estatísticos, o experimento e a MMM têm estimadores diferentes. Os experimentos estão sempre relacionados a condições específicas, como período, regiões geográficas e configurações da campanha.
Os experimentos geram informações muito relevantes, mas você precisa lembrar que transformá-las em uma distribuição a priori da MMM envolve uma camada a mais de incerteza, além do erro padrão do experimento.
Considerações sobre relevância
Se você estiver usando experimentos anteriores, avalie com cuidado a relevância deles. Antes de usar os resultados do experimento para informar as distribuições a priori, faça estas perguntas:
- Período: o experimento foi realizado antes, durante ou depois do período coberto pelos dados da MMM? Resultados de um período diferente podem não ser diretamente aplicáveis.
- Duração: o experimento durou o suficiente para capturar os efeitos de longo prazo do marketing? Os experimentos curtos podem não ter durado.
- Complexidade: se o experimento envolver uma mistura de canais, pode ser difícil conseguir insights claros sobre o desempenho do canal individual.
- Diferenças na estimativa: o contrafactual da MMM é gasto nulo, mas alguns experimentos podem definir o ROI em relação a uma referência diferente, como gasto reduzido.
- Diferenças na população: a segmentação no experimento e na MMM é a mesma?
Usar o conhecimento e a intuição sobre o domínio
Quando possível, use o conhecimento sobre o domínio para modelar suas distribuições a priori. Definir distribuições a priori é usar sua intuição para definir um intervalo plausível de valores para a performance de cada canal de marketing. Esse processo depende de uma combinação de julgamento fundamentado, extraído de várias fontes, como conhecimento do domínio, resultados anteriores, comparativos de mercado e, principalmente, experimentos de incrementalidade.
Os experimentos de incrementabilidade são possivelmente a base mais sólida para formular sua intuição, mas transformar os resultados em distribuições a priori não é uma fórmula precisa. Mesmo os experimentos têm limitações podem gerar resultados diferentes. Sua distribuição a priori de ROI precisa ser uma síntese de todas as informações disponíveis.
Se você não tiver muita certeza sobre a performance de um canal, defina uma distribuição a priori fraca (com um grande desvio padrão). No entanto, quando sua intuição é mais forte, incorporá-la usando distribuições a priori torna seu modelo mais eficiente e menos suscetível a ruídos nos dados.
Na prática, quase sempre temos alguma intuição. Por exemplo, você provavelmente acredita que a probabilidade de um ROI causal de 50 é bastante baixa para a maioria dos canais. Se a sua empresa realizou muitos experimentos ao longo dos anos e nunca observou um ROI maior que 6 para um canal específico, a distribuição a priori deve refletir isso atribuindo uma probabilidade muito baixa a valores de ROI maiores que 6. Use os insights disponíveis para alimentar suas distribuições a priori com dados.
Não importa como você define as distribuições a priori, sempre recomendamos criar um gráfico e examinar os percentis delas. Pergunte a você mesmo se as probabilidades estão alinhadas às suas expectativas. Por exemplo, se 80% da sua distribuição de probabilidade a priori for maior que um ROI de 1,0, isso vai refletir sua confiança a priori na lucratividade do canal?
Usar seu nível de confiança para definir o desvio padrão da distribuição a priori
Use a solidez da sua crença a priori para informar o desvio padrão da distribuição a priori. Se você acredita muito na eficácia de um canal (por exemplo, com base em vários experimentos com estimativas de ponto de ROI semelhantes ou resultados de MMMs anteriores), defina um desvio padrão menor para a distribuição a priori e indique um alto nível de confiança. Por outro lado, se você tiver dúvidas sobre a aplicabilidade dos resultados de um experimento à MMM, use um desvio padrão maior para refletir essa incerteza. As distribuições a priori não são restrições rígidas, mas pontos de partida. Se os dados apresentarem evidências fortes que contradizem a distribuição a priori, o modelo será ajustado de acordo. O desvio padrão da distribuição a priori determina o peso que é dado à sua crença inicial em comparação com as evidências nos dados.
Distribuições a priori uniformes e regularização
No Meridian, é útil considerar as distribuições a priori informativas como uma forma matemática de regularização. A regularização é uma técnica de modelagem estatística que introduz informações ou restrições adicionais para evitar overfitting dos dados com ruído em um modelo.
Os métodos comuns de regularização, como a regressão de ridge ou LASSO, geralmente restringem as estimativas puxando-as para zero. A estrutura bayesiana do Meridian oferece uma abordagem mais flexível usando a própria distribuição a priori para fazer a regularização. Em vez de usar o valor zero como padrão, uma distribuição a priori informativa regulariza o modelo para um intervalo realista de valores com base no conhecimento comercial ou nos dados históricos.
Confiar na distribuição a priori para regularizar o modelo é muito importante porque ela fornece uma âncora matemática necessária quando os dados são limitados ou não têm um sinal claro. Embora seja tentador usar distribuições a priori constantes e não informativas para canais sem experimentos anteriores, isso acaba com esse efeito estabilizador e pode levar a estimativas de alta variância ou não confiáveis. Se você não tiver resultados de experimentos anteriores ou intuição de negócios, comece com as distribuições a priori padrão do Meridian. Esses padrões funcionam como pontos de partida razoáveis que regularizam o modelo de maneira eficaz. Encontrar o grau ideal de regularização geralmente é um processo iterativo que envolve verificar o ajuste do modelo fora da amostra em vários níveis da regularização.
Exemplos de código
Os exemplos a seguir demonstram como definir e usar distribuições a priori no Meridian.
Exemplo: definir uma distribuição a priori log-normal com base em intuição ou experimentos
O Meridian oferece duas funções auxiliares para ajudar você a criar distribuições log-normal com base em dados experimentais ou outros conhecimentos prévios:
prior_distribution.lognormal_dist_from_mean_std: cria uma distribuição log-normal com base em uma média e um desvio padrão. Por exemplo, você pode usar a estimativa pontual e o erro padrão de um experimento.prior_distribution.lognormal_dist_from_range: cria uma distribuição log-normal em que uma massa de probabilidade especificada (como 95%) fica dentro de um limite inferior e superior. Por exemplo, você pode usar o intervalo de confiança de 95% de um experimento.
Acesse esta página para saber como definir uma distribuição a priori log-normal com base em intuição ou experimentos.
Exemplo: calibrar o ROI com base nos resultados do experimento
Consulte Configurar distribuições a priori de mídia paga para saber como definir distribuições a priori de ROI com base nos resultados do experimento.
Criar gráficos das distribuições a priori para confirmar se elas correspondem à intuição
Recomendamos criar gráficos e visualizar distribuições a priori personalizadas, principalmente de ROI. Isso ajuda a verificar se a distribuição a priori personalizada está alinhada com suas expectativas antes de prosseguir com a análise.
Outras considerações para calibrar distribuições a priori de tratamento
Esta seção contém outras considerações sobre a calibragem das distribuições a priori de tratamento.
Considerar o período de calibragem do ROI
Considere usar o argumento roi_calibration_period em ModelSpec se as informações a priori forem relevantes apenas para um período específico. No entanto, é recomendável definir uma distribuição a priori no período completo de modelagem sempre que possível. Todas as informações disponíveis, incluindo experimentos e conhecimento do domínio, devem ser usadas para definir essa distribuição. Para mais informações, consulte Definir o período de calibragem do ROI.
Sobre as mudanças das distribuições a priori e a posteriori
Comparar as mudanças entre as distribuições a priori e a posteriori pode informar se o modelo está aprendendo com os dados ou sendo fortemente influenciado pela distribuição a priori calibrada.
Para saber mais, confira as mudanças de distribuição a priori e a posteriori nas verificações de qualidade pós-modelagem do Meridian.