Para determinar si la efectividad observada es estadísticamente significativa, Meridian GeoX cuenta con métodos de inferencia sólidos para la metodología de análisis actual y futura.
Mecanismo de asignación de Meridian GeoX
Los estudios de GeoX se basan en algoritmos muy restringidos y optimizados matemáticamente para determinar la asignación geográfica. Supongamos que \(Z \in \Omega = \lbrace 0, 1 \rbrace^N\) es el vector de asignación de tratamiento, en el que \(N\) es la cantidad de unidades geográficas incluidas en la prueba, y que \(X\) es una matriz de covariables previas a la prueba. En el muestreo estratificado, \(X\) incluye los volúmenes de conversiones históricos, las tendencias y los patrones de estacionalidad. Por lo general, el algoritmo de diseño aplica una función de restricción o minimiza una función de costo \(C(Z, X)\) para producir una asignación muy restringida:
No es necesario que selecciones el mínimo exacto, ya que es muy probable que esté atrapado en una solución de sobreajuste. Como alternativa, basta con seleccionar de manera uniforme la asignación geográfica \(Z\) de un subconjunto válido de diseños aceptables:
El problema de la inferencia
Para evaluar el efecto del tratamiento con estimadores causales (por ejemplo, la regresión basada en el tiempo [TBR]), el análisis prueba la hipótesis nula estricta\(H_0:Y_i(1)=Y_i(0)\) para cada unidad tratada \(i\). En la inferencia de aleatorización exacta, el valor p representa la probabilidad de observar un estadístico de prueba \(T\) , al menos, tan extremo como el valor observado, calculado en la distribución de todas las asignaciones posibles según el mecanismo de asignación real.
Ventajas de la inferencia basada en el diseño
La inferencia basada en el diseño se creó para evaluar de forma objetiva la importancia real de los hallazgos de incrementalidad en GeoX. Este enfoque resuelve el desafío de inferencia común de que muchas metodologías de inferencia convencionales (como la prueba t o la prueba de ventana deslizante) con frecuencia no logran controlar la tasa de descubrimientos falsos. En comparación con estos métodos, es mucho menos probable que la inferencia basada en el diseño detecte efectos de incrementalidad significativos falsos. Puedes consultar la metodología y los hallazgos detallados en nuestro artículo de investigación.
La inferencia basada en el diseño también es superior a los métodos de placebo estándar, ya que resuelve una discrepancia fundamental en la forma en que se evalúan los experimentos basados en ubicaciones geográficas. Los métodos estándar suponen que las ubicaciones geográficas de prueba se seleccionaron de forma completamente aleatoria, mientras que la mayoría de los estudios de GeoX se basan en algoritmos altamente restringidos y optimizados matemáticamente para determinar la asignación geográfica.
Cómo la inferencia basada en el diseño aborda las limitaciones específicas de los métodos estándar:
La prueba de placebo estándar extrae la asignación \(Z\) de manera uniforme de \(Ω\)(mezclando las etiquetas de tratamiento) para crear una distribución nula empírica que refleje el ruido en el estimador. Ten en cuenta que, en las pruebas de placebo, tanto \(Z\) como\(Ω\) se restringen para usar solo ubicaciones geográficas de control. Sin embargo, debido a que la prueba estándar ignora las restricciones de diseño del estudio, el procedimiento suele generar "divisiones incorrectas", como la comparación entre un grupo de tratamiento de áreas metropolitanas grandes con un volumen alto de ventas y un grupo de control de ubicaciones geográficas más pequeñas con un volumen bajo de ventas. Estas divisiones que no se pueden comparar contaminan la distribución nula empírica con errores masivos. Esta imprecisión no solo infla la tasa de errores de tipo I, sino que también dificulta la detección de una efectividad incremental verdadera.
La inferencia basada en el diseño restringe la generación de placebos a la topología exacta del diseño experimental original, ya que extrae la asignación \(Z\) de manera uniforme de\(\Omega_D\). Los placebos se generan con funciones objetivo, límites de presupuesto y restricciones de diseño idénticos. Por lo tanto, cada placebo es una división válida y de alta calidad, y la distribución nula refleja perfectamente la verdadera incertidumbre de referencia del problema de inferencia. En comparación con el enfoque estándar, este ajuste estructural de la distribución nula reduce significativamente el efecto mínimo detectable (MDE), lo que aumenta tu poder estadístico.
Implementa la inferencia basada en el diseño
La implementación de la inferencia basada en el diseño requiere una sincronización formal entre la fase de diseño y el análisis posterior.
En las siguientes secciones, se describen los pasos para implementarla.
Formaliza el mecanismo de asignación: \(P(Z \mid X)\)
El problema de optimización traduce tus parámetros de configuración de diseño en una función de restricción programable. Si suponemos que se utiliza una heurística de optimización, como el emparejamiento voraz, para asignar unidades, supongamos que \(\pi(\cdot)\) representa un algoritmo de diseño que genera la asignación \(Z\) mediante un muestreo uniforme de \(\Omega_D\).
La inferencia basada en el diseño requiere acceso al algoritmo generativo\(\pi(\cdot)\) o al subespacio almacenado en caché \(\Omega_D\).
Genera vectores de placebo basados en el diseño
En lugar de depender de una mezcla uniforme, la matriz de placebo se construye extrayendo datos directamente de \(\Omega_D\).
- Inicializa la matriz de covariables original del período previo \(X\) para todas las unidades de control.
- Ejecuta el algoritmo de diseño \( \pi(X) \) de forma idéntica a la fase de configuración del experimento, usando valores de inicialización aleatorios únicos para explorar el espacio de diseños válidos.
- Recopila \(K\) asignaciones de placebo \(\{Z^{(1)}, Z^{(2)},\dots,Z^{(K)}\}\)de modo que cada \(Z^{(k)}\) cumpla con las restricciones estructurales, incluidas la estratificación, los límites de presupuesto y el filtrado de calidad previo a la prueba.
Calcula la distribución nula empírica
Para estimar el efecto causal de cada asignación de placebo válida \(Z^{(k)}\), sigue estos pasos:
- Ajusta el modelo contrafáctico usando solo los datos de la prueba previa de la asignación\(Z^{(k)}\).
- Predice el resultado contrafáctico de las unidades tratadas definidas en\(Z^{(k)}\) durante la fase de prueba real.
- Calcula el estadístico de la prueba de placebo \(T^{(k)}\), que es el efecto incremental total en las unidades tratadas definidas en\(Z^{(k)} : T^{(k)} = \sum_{t > t_0} (Y_t^{(k)} - \widehat{Y_t^{(k)}(0)})\).
Como cada \(Z^{(k)}\) es una división de alta calidad por diseño, el estimador produce coincidencias sintéticas sólidas del efecto observado \(T_{\text{obs} }\)en el diseño real. La distribución resultante de \(T^{(k)}\) representa el nivel de incertidumbre según la hipótesis nula estricta.
Calcular el valor p y los intervalos de confianza (inferencia exacta válida)
Según la hipótesis nula estricta, el valor p es la probabilidad de que una división de placebo produzca un estadístico de prueba tan extremo como el efecto observado\(T_{\text{obs}}\). Para tener en cuenta las variaciones en el ajuste del modelo de referencia, puedes usar la estadística de prueba estudentizada. El estadístico de prueba estudentizado se define como la proporción entre el efecto posterior al período y la raíz cuadrada del error cuadrático medio (RMSE) anterior al período:
El cálculo del valor p refinado se define de la siguiente manera:
El intervalo de confianza del efecto incremental se puede obtener posteriormente a partir de la inversión de estos valores p.