Resultados del análisis

Después de ejecutar un análisis de Meridian GeoX, puedes evaluar los resultados del experimento con métricas numéricas y visualizaciones. En esta página, se describen las métricas de resultados clave y los gráficos visuales que genera el framework de GeoX para ayudarte a interpretar el rendimiento de las campañas.

Ejecuta el análisis

Para ejecutar el análisis, llama a geox.analyze con tus datos y configuración. Esta función devuelve un objeto AnalysisResult que contiene estimaciones puntuales y los intervalos de confianza de varias métricas de incrementalidad.

print("\nAnalyzing experiment results...")
analysis_result = geox.analyze(
    analysis_data, analysis_config
)
# Returns not only point estimates, but also confidence intervals of various incrementality metrics
analysis_result.results

En cada celda de tratamiento, el objeto AnalysisMetrics que se devuelve dentro de los resultados proporciona una vista integral del impacto del experimento:

• Efectividad: Es la conversión incremental absoluta. Por ejemplo, las ventas adicionales totales o los recuentos de conversiones causados por las intervenciones en la celda de tratamiento que se atribuyen directamente al experimento.
• Efectividad porcentual: Es la conversión incremental relativa expresada como un porcentaje sobre el valor de referencia contrafáctico estimado.
• Conversión incremental por dólar (iCPD): Es la eficiencia incremental que se obtiene normalizando según la inversión de marketing. Equivale al ROAS incremental si se usan datos de ingresos.
• Valor p y los intervalos de confianza: Estas mediciones de la importancia estadística se calculan con la inferencia de placebo basada en el diseño. Se aplican a todas las métricas mencionadas anteriormente.

{
    'cell_1': AnalysisMetrics(
        lift=Estimate(
            point_estimate=26667.484375,
            lower_bound=23734.5703125,
            upper_bound=28317.734375,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        percent_lift=Estimate(
            point_estimate=0.04917562007904053,
            lower_bound=0.04350090026855469,
            upper_bound=0.052402496337890625,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        icpd=Estimate(
            point_estimate=1.3162440061569214,
            lower_bound=1.1714823246002197,
            upper_bound=1.3976964950561523,
            standard_deviation=1.0,
            p_value=0.0019960079807788134,
        ),
        descriptive_metrics=None,
    )
}

Para visualizar estos resultados, geox.plot_analysis sirve como una herramienta potente para trazar los datos observados en comparación con el contrafáctico estimado y hacer un seguimiento de los efectos incrementales durante el experimento.

# Creates visualizations of the incrementality effect
geox.plot_analysis(analysis_result)

Verás cuatro gráficos en cada celda de tratamiento individual de tu experimento:

1. En el primer gráfico, se muestra la conversión diaria de la posición geográfica de tratamiento en comparación con la contrafáctica prevista desde los períodos previos a la prueba y de la prueba. Por lo general, las dos series temporales deben alinearse estrechamente durante el período previo a la prueba, lo que indica un buen ajuste del modelo contrafáctico. Sin embargo, si la intervención de marketing tiene un impacto incremental distinto de cero en las conversiones, deberías comenzar a ver una desviación entre las dos series durante el período de prueba.
2. El segundo gráfico es otra forma de ver el efecto incremental, ya que resta la conversión diaria observada del tratamiento y los contrafácticos previstos. Durante el período previo a la prueba, se espera que la diferencia sea de alrededor de 0. Sin embargo, durante la prueba, la diferencia indicará el efecto incremental causado por tus intervenciones de marketing.
3. En el tercer gráfico, se muestra la incrementalidad acumulada durante el período de prueba, que suele aumentar con el tiempo, en lugar de los efectos incrementales diarios.
4. En el cuarto gráfico, se visualiza el efecto acumulativo después de normalizarlo según la inversión de marketing. Esto representará la eficiencia de la incrementalidad, en particular, la métrica de iCPD de tus campañas publicitarias.