Resultados da análise

Depois de executar uma análise do Meridian GeoX, você pode avaliar os resultados do experimento usando métricas numéricas e visualizações. Nesta página, descrevemos as principais métricas de saída e os gráficos visuais gerados pelo framework GeoX para ajudar você a interpretar a performance da campanha.

Executar a análise

Para executar a análise, chame geox.analyze com seus dados e configuração. Essa função retorna um objeto AnalysisResult com estimativas pontuais e intervalos de confiança para várias métricas de incrementalidade.

print("\nAnalyzing experiment results...")
analysis_result = geox.analyze(
    analysis_data, analysis_config
)
# Returns not only point estimates, but also confidence intervals of various incrementality metrics
analysis_result.results

Em cada célula de tratamento, o objeto AnalysisMetrics retornado nos resultados oferece uma visão abrangente do impacto do experimento:

• Lift: a conversão incremental absoluta. Por exemplo, o total de vendas ou conversões adicionais causadas pelas intervenções na célula de tratamento diretamente atribuídas ao experimento.
• Lift percentual: a conversão incremental relativa expressa como uma porcentagem sobre o valor de referência contrafactual estimado.
• Conversão incremental por dólar (iCPD, na sigla em inglês): a eficiência incremental ao normalizar usando os gastos com marketing. Equivalente ao iROAS se forem usados os dados de receita.
• Valor-p e intervalos de confiança: essas medidas de significância estatística são calculadas usando inferência de placebo baseada no design. Elas se aplicam a todas as métricas mencionadas anteriormente.

{
    'cell_1': AnalysisMetrics(
        lift=Estimate(
            point_estimate=26667.484375,
            lower_bound=23734.5703125,
            upper_bound=28317.734375,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        percent_lift=Estimate(
            point_estimate=0.04917562007904053,
            lower_bound=0.04350090026855469,
            upper_bound=0.052402496337890625,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        icpd=Estimate(
            point_estimate=1.3162440061569214,
            lower_bound=1.1714823246002197,
            upper_bound=1.3976964950561523,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        descriptive_metrics=None,
    )
}

Para visualizar esses resultados, geox.plot_analysis é uma ferramenta poderosa para traçar os dados observados em relação ao contrafactual estimado e acompanhar os efeitos incrementais ao longo do experimento.

# Creates visualizations of the incrementality effect
geox.plot_analysis(analysis_result)

Você verá quatro gráficos em cada célula de tratamento no seu experimento:

1. O primeiro gráfico mostra a conversão diária da região geográfica de tratamento em comparação com o contrafactual previsto dos períodos de pré-teste e teste. Normalmente, as duas séries temporais devem se alinhar de perto durante o período de pré-teste, indicando um bom ajuste do modelo contrafactual. No entanto, se a intervenção de marketing tiver um impacto incremental diferente de zero na conversão, você vai notar um desvio entre as duas séries durante o período de teste.
2. O segundo gráfico é outra maneira de analisar o efeito incremental, subtraindo a conversão diária do tratamento observado e os contrafactuais previstos. Durante o pré-teste, a diferença deve ser cerca de 0. No entanto, durante o período de teste, a diferença vai indicar o efeito incremental causado pelas suas intervenções de marketing.
3. O terceiro gráfico mostra a incrementalidade cumulativa durante o período de teste, que geralmente aumenta ao longo do tempo, em vez dos efeitos incrementais diários.
4. O quarto gráfico exibe o efeito cumulativo após a normalização pelos gastos com marketing. Isso vai mostrar a eficiência da incrementalidade, em específico, a métrica iCPD das campanhas publicitárias.