O framework do Meridian GeoX prioriza uma abordagem robusta e baseada em dados para a execução do design experimental, minimizando a variância e os requisitos de orçamento do anunciante. Além da amostragem aleatória padrão, a amostragem estratificada é proposta para gerar candidatos de design com maior possibilidade de comparação entre os grupos de tratamento e de controle antes do início de um experimento. Após a amostragem estratificada, o processo de pesquisa de design filtra os candidatos e finaliza os designs com maior eficiência estatística.
Amostragem estratificada
O Meridian GeoX usa um design de amostragem estratificada para lidar com a variância e os problemas de orçamento elevado inerentes a tamanhos de amostra restritos.
- Processo de estratificação: divide as unidades geográficas (regiões) em "estratos", que são clusters homogêneos definidos por características compartilhadas, incluindo volume de resposta, tendência e sazonalidade.
- Caracterização de KPIs: antes do clustering, as séries de KPIs são caracterizadas usando métricas estatísticas, incluindo média, coeficiente de variação (CV), inclinação, autocorrelação (com atraso 1) e distorção temporal dinâmica (DTW, na sigla em inglês).
- Clustering e atribuição aleatória: um algoritmo k-means pode particionar regiões geográficas em estratos com base nesses recursos. O número padrão de clusters é quatro. Para cada região, a atribuição aleatória em grupos de tratamento ou controle é realizada em cada cluster. A atribuição aleatória também se expande naturalmente para o design de estudo com várias células.
Amostragem aleatória
O Meridian GeoX é compatível com a amostragem aleatória, em que as unidades geográficas são divididas aleatoriamente em grupos de tratamento e controle sem seguir a estrutura de clustering. Em geral, a amostragem aleatória não é recomendada em relação à metodologia de amostra estratificada. No entanto, ela se faz necessária no GeoX para poucas regiões.
Processo de pesquisa de design
O Meridian GeoX usa um pipeline de pesquisa de design rigoroso para identificar os melhores candidatos a design experimental, que são obtidos de um grupo de designs prováveis gerados pelo método de amostra estratificada.
Métricas de avaliação
As métricas a seguir são avaliadas no Meridian GeoX para monitorar de perto a qualidade de um design:
- Ajuste fora da amostra: indica se o modelo se ajusta ou não a um design e o avalia com base na estatística de R-quadrado fora da amostra para filtrar os designs candidatos.
- Robustez do teste AA: validação por simulações de A/A em que os valores p são verificados para evitar polarizações estatisticamente significativas nos testes A/A.
Eficiência estatística: medida pelo efeito mínimo detectável (MDE, na sigla em inglês) do lift relativo. A porcentagem de lift do MDE do GeoX é independente das opções de metodologia de análise e é calculada usando a fórmula:
$$MDE_{\,lift} = Min\:incremental\:conversion\:/\:Baseline\:control \:conversion\\= SE_{\,lift} \times (Z_{1-\alpha/2}\:+\:Z_{1-\beta})\:/\: Baseline\:control\:conversion$$Na fórmula, \( SE_{\,lift} \) denota o erro padrão de lift absoluto, enquanto \( \alpha \) e \( 1-\beta \) representam o nível de significância e a eficiência estatística desejada, respectivamente. Por padrão, um teste de hipótese bilateral é considerado. \( Z \) corresponde aos quantis normais padrão.
Orçamento: traduz a eficiência estatística em requisito fiscal necessário para atingir os objetivos de eficiência.
Pipeline de pesquisa
O processo de pesquisa de design divide todos os dados pré-teste em períodos de treinamento inicial, validação e seleção final. O processo segue seis etapas sequenciais para finalizar os designs. Consulte o diagrama neste documento para ver as etapas sequenciais do pipeline de pesquisa:
