Resolver problemas em resultados de design

Entenda os requisitos do MDE para solucionar problemas em resultados de design. Este guia vai ajudar a verificar suas métricas de design em relação aos dados históricos e ajustar os parâmetros do estudo quando os resultados não atenderem suas metas de medição.

Análise detalhada do efeito detectável mínimo (MDE, na sigla em inglês)

O resultado de cada design vem com um efeito detectável mínimo (MDE, na sigla em inglês). O MDE representa a menor porcentagem de lift que seu experimento é capaz de medir estatisticamente. Para garantir que o teste seja eficiente, o MDE precisa ser menor que o aumento real que você espera gerar com a campanha. Um erro comum é projetar e executar um Meridian GeoX com um MDE muito grande. Se você não tiver certeza da performance esperada da sua campanha, recomendamos que seja conservador e escolha um MDE menor. Isso garante que o experimento seja sensível o suficiente para detectar até mesmo mudanças sutis.

Ao testar suas campanhas atuais com as opções de teste retirada de anúncios ou investimento em regiões específicas, se os estudos incrementais históricos tiverem configurações semelhantes ou se um modelo do mix de marketing (MMM, na sigla em inglês) estiver disponível para seus segmentos, você poderá verificar se o MDE escolhido é realista. Para isso, compare o CpIC implícito no design com o CpIC estimado.

Para simplificar essa comparação, considere estas três métricas principais (também ilustradas no diagrama abaixo), que indicam que seu gasto de mídia e sua resposta seguem uma curva côncava de retorno de anúncios:

• Custo por ação (CPA, na sigla em inglês): seu custo padrão por conversão, que é igual a gasto ($S$) / conversões ($C$). O total de conversões aqui inclui as incrementais e as não incrementais. Por exemplo, eventos de conversão orgânica sem mídia paga.
• Elasticidade: equivale a \(\frac{\Delta C / C}{\Delta S / S}\) no diagrama. É uma medida de quão sensíveis são suas conversões às mudanças nos gastos, que podem ser inferidas de estudos históricos ou MMM.
  • Para estudos de interrupção em que $\Delta S = -100\% * S$, a elasticidade se torna essencialmente $-\Delta C / C$, o lift relativo esperado do seu estudo.
• Custo por conversão incremental (CpIC, na sigla em inglês): é igual a $\Delta S / \Delta C$. Significa o custo real de cada conversão incremental gerada pela mudança de gasto incremental devido à sua intervenção de marketing.

Um teste bem elaborado garante que o CpIC implícito no design, que é calculado dividindo o orçamento pelo mínimo de conversões incrementais necessárias, fique alinhado ao CpIC teórico, que é calculado dividindo o CPA pela elasticidade. O ideal é que o CpIC implícito no design não seja menor que o CpIC estimado para garantir que a eficiência do teste.

Extraia o CpIC implícito no design para o experimento de célula única escolhido:

select_design = single_cell_design_set.designs[single_cell_selected_design_id]
select_design.designs['cell_1'].design_implied_cpic

Entender a relação entre orçamento, MDE e CpIC implícito no design

Uma confusão comum é saber como o ajuste do orçamento afeta a sensibilidade do teste.

• O MDE é independente do orçamento: o MDE estatístico (a porcentagem mínima de mudança nas conversões que o experimento pode detectar) é determinado apenas pela volatilidade histórica e pela correspondência geográfica. Mudar o orçamento apenas em Constraints não altera esse limite estatístico.
• O orçamento determina o CpIC implícito no design: enquanto o MDE (a porcentagem de aumento necessária) permanece constante, o CpIC implícito no design muda proporcionalmente ao orçamento:
  • Orçamento maior: leva a um CpIC implícito no design mais alto (menos eficiente). Isso aumenta a probabilidade de um teste conclusivo para campanhas com performance moderada.
  • Orçamento mais baixo: restringe o design a um CpIC implícito muito baixo (altamente eficiente). Se a performance real da campanha for moderada em vez de altamente eficiente, o teste poderá ser inconclusivo.

Quando nenhum resultado de design se encaixa na sua meta de medição

É possível que, mesmo com nossa otimização de design, o MDE mais baixo dos principais candidatos de design ainda seja muito grande para o seu caso. Normalmente, isso indica que o orçamento das campanhas de teste não é suficiente para o GeoX, com base nas configurações de estudo especificadas e no nível de ruído inerente aos dados de KPI. Primeiro, aumente o orçamento de parâmetros explicitamente em geox.Constraints(). Talvez seja necessário ajustar as configurações do estudo depois de aumentar o orçamento do experimento usando uma destas opções:

• É possível aumentar a duração do estudo mudando experiment_duration em geox.DesignConfig().
• Você pode manter a duração atual, mas aumentar o parâmetro max_conversions_percent em geox.Constraints(), o que significa que uma porcentagem maior de regiões será afetada pela sua intervenção.

Com qualquer uma das abordagens, você pode tentar aumentar o volume de conversões incrementais atualizando as configurações do estudo. Também é possível elaborar o teste para incluir outros objetivos de conversão mais simples, como visualizações de página ou adições ao carrinho, supondo que essas conversões também sejam afetadas pelas suas campanhas. Isso pode fornecer um volume maior de dados, o que pode levar a um MDE menor.

Aumentar diretamente o orçamento diário da campanha é outra opção, embora não seja recomendado fazer isso no experimento, porque quebra a premissa de que as regiões de controle devem estar sempre em BAU. Se o seu caso exigir aumento do orçamento da campanha, recomendamos que você faça isso primeiro e aguarde até ter dados suficientes de design de pré-teste no novo BAU antes de executar um novo design de estudo e prosseguir com o GeoX real.

Otimizar experimentos para picos sazonais

Executar o GeoX durante picos sazonais, como as festas de fim de ano no quarto trimestre ou grandes eventos de vendas, apresenta desafios como alta volatilidade e restrições comerciais (por exemplo, períodos "intocáveis" em que a mídia não pode ser desativada). Confira algumas diretrizes sobre como estruturar seus estudos em torno desses períodos.

Como lidar com períodos de pico intocáveis ou restrições comerciais

Se a sua empresa não puder desativar a publicidade (estratégia de retirada de anúncios) nos principais mercados durante um período de pico de vendas:

• Use uma estratégia de aumento de investimento em vez da retirada :
  • Em vez de testar o valor do gasto em comparação com o gasto zero (retirada de anúncios), teste o impacto marginal do gasto adicional.
  • Mantenha as regiões de controle no orçamento de referência planejado (BAU) e aumente ainda mais os gastos nas regiões de tratamento (por exemplo, de +20% a +50%). Isso permite que você capture o pico de demanda em todos os mercados e, ao mesmo tempo, meça o aumento incremental do investimento extra.
• Use a retirada de anúncios parcial para minimizar o risco:
  • Às vezes chamada de go-dim, a retirada de anúncios parcial testa a eficiência marginal, ou seja, o ROI da última ou maior parcela de gastos com uma redução parcial (por exemplo, reduzir os gastos em 20% nas regiões de tratamento). Isso minimiza o risco de receita durante os picos, mas ainda mede a incrementalidade dessa fatia de orçamento específica. Isso não mede a eficiência total do valor de referência, que compara o gasto BAU com o gasto zero e requer um teste completo de retirada de anúncios.

Gerenciar janelas de pré e pós-teste durante picos sazonais

A transição de entrada e saída em um pico sazonal geralmente é caracterizada por mudanças rápidas no comportamento do usuário e na dinâmica de lances da plataforma. Para garantir a estabilidade do modelo:

• Evite transições de teste durante picos: procure fazer com que as datas de início e término do teste não caiam diretamente no meio de uma transição acentuada (por exemplo, iniciar o teste no dia anterior à Black Friday). O modelo é mais estável quando a relação entre as regiões de tratamento e de controle é consistente.
  • Comece o teste com antecedência: implemente as divisões de orçamento (retirada de anúncios ou investimento em regiões específicas) algumas semanas antes do início da transição sazonal. Isso dá tempo para que algoritmo de lances da plataforma de publicidade se estabilize com os novos orçamentos geográficos antes que o volume de pico seja atingido.
  • Encerrar o teste mais tarde: mantenha o teste durante o pico e só volte ao BAU depois que o volume de pico tiver diminuído e estabilizado nos níveis normais.
• Estenda os dados de pré-teste para validação: para empresas altamente sazonais, os dados de pré-teste \( 3N \) mínimos exigidos geralmente são insuficientes. Prepare pelo menos um ano de dados históricos para validar seu design.
• Valide o design em picos históricos (teste de placebo):
  • Antes de executar o teste, faça a pesquisa de design usando dados históricos do mesmo pico sazonal do ano anterior como um período de validação.
  • Verifique se o design candidato passa nos testes de placebo A/A (valor p\( \ge \alpha \)) e se mantém um bom ajuste (\( R^2 \ge 0.8 \)) durante esse pico histórico. Se falhar, a relação entre as regiões geográficas vai ficar instável durante períodos de alto volume, e você deve evitar testes durante o pico.