Para determinar se o lift observado é estatisticamente significativo, o Meridian GeoX possui métodos de inferência robustos para a metodologia de análise atual e futura.
Mecanismo de atribuição do Meridian GeoX
Os estudos do GeoX dependem de algoritmos altamente restritos e matematicamente otimizados para determinar a atribuição geográfica. Defina \(Z \in \Omega = \lbrace 0, 1 \rbrace^N\) como vetor de atribuição de tratamento, em que \(N\) é o número de unidades geográficas incluídas no teste e \(X\) uma matriz de covariáveis de pré-teste. Na amostra estratificada, \(X\) inclui volumes de conversão históricos, tendências e padrões sazonais. O algoritmo de design geralmente aplica uma função de restrição ou minimiza uma função de custo \(C(Z, X)\) para gerar uma atribuição altamente restrita:
Não é necessário selecionar um valor mínimo exato, já que o algoritmo provavelmente está preso em um sobreajuste (overfitting). Como alternativa, selecione de maneira uniforme a atribuição geográfica \(Z\) de um subconjunto válido de designs aceitáveis:
O problema de inferência
Para avaliar o efeito do tratamento usando estimadores causais, como a regressão baseada em tempo (TBR, na sigla em inglês), a análise testa a hipótese nula estrita\(H_0:Y_i(1)=Y_i(0)\) para cada unidade \(i\)em tratamento. Na inferência de randomização exata, o valor p representa a probabilidade de observar uma estatística de teste \(T\) que será pelo menos tão extrema quanto o valor observado, calculada na distribuição de todas as atribuições possíveis no mecanismo de atribuição real.
Vantagens da inferência baseada no design
A inferência baseada no design foi criada para avaliar objetivamente o significado das descobertas de incrementalidade no GeoX. Essa abordagem resolve o desafio comum de inferência que outras metodologias convencionais geralmente não conseguem controlar a taxa de descobertas falsas, como os teste t ou de janela deslizante. Quando comparada a esses métodos, a inferência baseada no design tem muito menos probabilidade de detectar efeitos falsos de incrementalidade significativos. A metodologia detalhada e as descobertas estão no nosso artigo.
A inferência baseada no design também é superior aos métodos de placebo padrão, porque resolve uma incompatibilidade fundamental na forma como os testes geográficos são avaliados. Os métodos padrão pressupõem que as regiões geográficas de teste foram selecionadas de forma totalmente aleatória, enquanto a maioria dos estudos de GeoX usa algoritmos altamente restritos e matematicamente otimizados para determinar a atribuição geográfica.
Como a inferência baseada no design aborda limitações específicas dos métodos padrão:
O teste de placebo padrão extrai a atribuição \(Z\) de maneira uniforme de \(Ω\)(embaralhando os rótulos de tratamento) para criar uma distribuição nula empírica que reflete o ruído no estimador. Nos testes de placebo, \(Z\) e\(Ω\) são restritos ao uso de regiões de controle. No entanto, como o teste padrão ignora as restrições de design do estudo, o procedimento costuma gerar divisões incorretas, como comparar um grupo experimental de áreas metropolitanas grandes e de alto volume com um grupo de controle de regiões geográficas menores e de baixo volume. Essas divisões incompatíveis poluem a distribuição nula empírica com erros enormes. Essa imprecisão infla a taxa de erro do tipo I e também dificulta a detecção de um lift incremental verdadeiro.
A inferência baseada no design restringe a geração de placebos à topologia exata do design experimental original, com a atribuição \(Z\) sendo extraída de maneira uniforme de\(\Omega_D\). Os placebos são gerados usando as mesmas funções objetivas, limites de orçamento e restrições de design. Portanto, cada placebo é uma divisão válida e de alta qualidade, e a distribuição nula reflete perfeitamente a incerteza do valor de referência do problema de inferência. Em comparação com a abordagem padrão, esse ajuste estrutural da distribuição nula reduz significativamente o efeito detectável mínimo (MDE, na sigla em inglês), o que aumenta a eficiência estatística.
Implementar inferência baseada no design
A implementação da inferência baseada no design exige uma sincronização formal entre a fase de design e a análise subsequente.
As seções a seguir mostram as etapas de implementação da inferência baseada no design.
Formalizar o mecanismo de atribuição: \(P(Z \mid X)\)
O problema de otimização traduz as configurações de design em uma função de restrição programável. Supondo que uma heurística de otimização, como a correspondência ávida, seja usada para atribuir unidades, use \(\pi(\cdot)\) para representar um algoritmo de design que gera a atribuição \(Z\) por amostragem uniforme de \(\Omega_D\).
A inferência baseada no design requer acesso ao algoritmo generativo \(\pi(\cdot)\) ou ao subespaço \(\Omega_D\)em cache.
Gerar vetores de placebo baseados no design
Em vez de depender de uma redistribuição uniforme, a matriz de placebo é construída diretamente de \(\Omega_D\).
- Inicialize a matriz de covariáveis do pré-período original \(X\) para todas as unidades de controle.
- Execute o algoritmo de design \( \pi(X) \) de forma idêntica à fase de configuração do experimento, usando seeds aleatórias exclusivas para explorar o espaço de designs válidos.
- Colete atribuições de placebo \(\{Z^{(1)}, Z^{(2)},\dots,Z^{(K)}\}\)de \(K\) de modo que cada \(Z^{(k)}\) siga as restrições estruturais, incluindo estratificação, limites de orçamento e filtragem de qualidade pré-teste.
Calcular a distribuição nula empírica
Para estimar o efeito causal de cada atribuição de placebo válida \(Z^{(k)}\), siga estas etapas:
- Ajuste o modelo contrafactual usando apenas dados de pré-teste na atribuição\(Z^{(k)}\).
- Faça previsão do resultado contrafactual para as unidades de tratamento definidas em\(Z^{(k)}\) durante a fase de teste real.
- Calcule a estatística do teste de placebo \(T^{(k)}\), que é o efeito incremental total nas unidades tratadas definidas em\(Z^{(k)} : T^{(k)} = \sum_{t > t_0} (Y_t^{(k)} - \widehat{Y_t^{(k)}(0)})\).
Como cada \(Z^{(k)}\) é uma divisão de alta qualidade por design, o estimador produz correspondências sintéticas robustas do efeito \(T_{\text{obs} }\)observado no design real. A distribuição resultante de \(T^{(k)}\) representa o nível de incerteza sob a hipótese nula estrita.
Calcular o valor p e os intervalos de confiança (inferência exata válida)
De acordo com a hipótese nula estrita, o valor p é a probabilidade de uma divisão de placebo produzir uma estatística de teste tão extrema quanto o efeito\(T_{\text{obs}}\)observado. Para considerar as variações no ajuste do modelo de valor de referência, use a estatística estudentizada de teste. A estatística estudentizada de teste é definida como a proporção do efeito pós-período em relação à raiz do erro quadrático médio (REQM) no pré-período:
O cálculo refinado do valor p é definido como:
O intervalo de confiança do efeito incremental pode ser recuperado posteriormente a partir da inversão desses valores p.