El framework de Meridian GeoX prioriza un enfoque sólido y basado en datos para el diseño experimental con el objetivo de minimizar la varianza y los requisitos de presupuesto de los anunciantes. Más allá del muestreo aleatorio estándar, se propone el muestreo estratificado para generar candidatos de diseño que garanticen que los grupos de tratamiento y control sean más comparables antes de que comience un experimento. Después del muestreo estratificado, el proceso de búsqueda de diseño filtrará los candidatos de diseño y finalizará los diseños que logren la mayor potencia estadística.
Muestreo estratificado
Meridian GeoX usa un diseño de muestreo estratificado para abordar los problemas de varianza y presupuesto elevado inherentes a los tamaños de muestra restringidos.
- Proceso de estratificación: Divide las unidades geográficas (ubicaciones geográficas) en "estratos", que son clústeres homogéneos definidos por características compartidas, como el volumen de respuesta, la tendencia y la estacionalidad.
- Caracterización de los KPIs: Antes de la agrupación en clústeres, las series de KPIs se caracterizan con métricas estadísticas, como la media, el coeficiente de variación (CV), la pendiente, la autocorrelación (en el retraso 1) y la deformación temporal dinámica (DTW).
- Agrupamiento en clústeres y asignación aleatoria: Un algoritmo k-means puede particionar las ubicaciones geográficas en estratos según estas características. La cantidad predeterminada de clústeres es cuatro. Para cada ubicación geográfica, se realiza una asignación aleatoria a los grupos de tratamiento o de control dentro de cada clúster. Ten en cuenta que la asignación aleatoria también se expande de forma natural al diseño de estudio de varias celdas.
Muestreo aleatorio
Meridian GeoX admite el muestreo aleatorio, en el que las unidades geográficas se dividen de forma aleatoria en grupos de tratamiento y de control sin seguir la estructura de agrupamiento en clústeres. Por lo general, no se recomienda el muestreo aleatorio por sobre la metodología de muestreo estratificado. Sin embargo, se vuelve necesario en GeoX cuando hay una pequeña cantidad de ubicaciones geográficas.
Diseña el proceso de búsqueda
Meridian GeoX usa una canalización rigurosa de búsqueda de diseños para identificar los candidatos óptimos de diseño experimental a partir de un conjunto de diseños probables generados con el método de muestreo estratificado.
Métricas de evaluación
En Meridian GeoX, se evalúan las siguientes métricas para supervisar de cerca la calidad de un diseño:
- Ajuste fuera de la muestra: Indica si el modelo se ajusta o no a un diseño y se evalúa con la estadística de R cuadrado fuera de la muestra para filtrar los diseños candidatos.
- Solidez de las pruebas A/A: Se valida a través de simulaciones de pruebas A/A en las que se verifican los valores p para evitar sesgos estadísticamente significativos en las pruebas A/A.
Poder estadístico: Se mide por el efecto mínimo detectable (MDE) de la efectividad relativa. El porcentaje de efectividad del MDE de GeoX es independiente de las opciones de la metodología de análisis y se calcula con la siguiente fórmula:
$$MDE_{\,lift} = Min\:incremental\:conversion\:/\:Baseline\:control \:conversion\\= SE_{\,lift} \times (Z_{1-\alpha/2}\:+\:Z_{1-\beta})\:/\: Baseline\:control\:conversion$$En la fórmula, \( SE_{\,lift} \) denota el error estándar de la efectividad absoluta, mientras que \( \alpha \) y \( 1-\beta \) representan el nivel de significancia y el poder estadístico objetivo, respectivamente. De forma predeterminada, se considera una prueba de hipótesis bilateral. \( Z \) corresponde a los cuantiles normales estándar.
Presupuesto: Convierte la potencia estadística en el requisito presupuestario necesario para alcanzar los objetivos de potencia.
Canalización de búsqueda
El proceso de búsqueda de diseño divide todos los datos previos a la prueba en períodos de entrenamiento inicial, validación y selección final. Luego, el proceso sigue seis pasos secuenciales para finalizar los diseños. Consulta el diagrama de este documento para conocer los pasos secuenciales de la canalización de búsqueda:
