Preguntas frecuentes

En este documento, se proporcionan respuestas completas a las preguntas frecuentes sobre Meridian GeoX.

Conceptos generales de Meridian GeoX

¿Cuál es la diferencia entre GeoX y las soluciones de medición de efectividad basadas en los usuarios?

Para equilibrar la precisión de la medición y la privacidad del usuario, GeoX y los métodos de solución de medición basados en el usuario dependen de enfoques fundamentalmente diferentes:

  • GeoX agrupa los públicos por regiones geográficas (ubicaciones geográficas) y usa datos agregados, por lo que ignora por completo la atribución a nivel del usuario.
  • La efectividad basada en los usuarios hace un seguimiento de las cookies o las impresiones de anuncios individuales para atribuir las conversiones.

¿Por qué usar GeoX?

El uso de Meridian GeoX ofrece los siguientes beneficios:

  • Medición de la incrementalidad entre publicadores: Con la configuración de diseños de varias celdas, GeoX permite medir la incrementalidad entre publicadores, como los medios de Google en comparación con los que no son de Google, lo que, por lo general, no es compatible con la efectividad de conversiones basada en los usuarios específica de cada publicador.
  • Medición sin conexión y de varios canales: GeoX es la metodología principal para medir el impacto sin conexión y de varios canales, como las ventas en la tienda y las conversiones con seguimiento de CRM. Debido a que utiliza datos de ventas regionales agregados, evita la dificultad de vincular las impresiones de anuncios en línea a nivel del usuario con las transacciones en tiendas tradicionales.
  • Enfoque duradero para la privacidad: GeoX se basa en conversiones agregadas y no atribuidas en una región específica, en lugar de hacer un seguimiento de las personas. Por este motivo, GeoX es inmune a las brechas de medición causadas por los desafíos de privacidad modernos, como la baja de las cookies y las restricciones de iOS.

Meridian GeoX en comparación con las bibliotecas heredadas de Google GeoX

¿Cuál es la diferencia entre la biblioteca de código abierto de Meridian GeoX y otros softwares de código abierto de GeoX de Google, como los mercados emparejados mediante regresión basada en el tiempo (TBRMM)?

La biblioteca de Meridian GeoX es una actualización integral y unificada que ofrece las siguientes funciones y capacidades:

  • Solución integral: Actúa como una biblioteca única para el diseño del estudio (planificación previa a la prueba) y el análisis (inferencia posterior a la prueba), y abarca varias metodologías. GeoX admite la metodología de regresión basada en el tiempo (TBR).
  • Comparación directa de diseños: Incluye una función de compare_designs para comparar directamente diferentes diseños de estudio en paralelo y ver cuál se adapta mejor a los requisitos de presupuesto y efecto mínimo detectable (MDE).
  • Enfoque estadístico moderno: Utiliza cálculos optimizados para JAX para la generación de candidatos rápida y la inferencia de placebo basada en el diseño, lo que mejora la potencia y la precisión en la estimación de los intervalos de confianza.
  • Varias celdas y flexibilidad: Admite de forma nativa diseños de varias celdas y permite restricciones flexibles, como excluir ubicaciones geográficas específicas o forzar ubicaciones geográficas para el control.

¿Por qué Meridian GeoX recomienda un presupuesto significativamente más alto y un MDE más grande en comparación con los TBRMM?

Las diferencias en las recomendaciones se deben a las distintas filosofías de diseño y técnicas de validación de los TBRMM y Meridian GeoX:

  • Los TBRMM estiman la potencia del diseño en función del ajuste dentro de la muestra previo a la prueba. Se usan los mismos datos históricos para ajustar el modelo y estimar su varianza. En situaciones ideales, la varianza estimada con este procedimiento debería converger a su varianza real. Sin embargo, en realidad, la varianza previa a la prueba suele subestimarse en comparación con lo que se experimenta durante la prueba real. Cuando la varianza real posterior a la prueba resulta ser más alta, el estudio puede terminar con una potencia insuficiente. Por lo tanto, esta optimización histórica puede generar recomendaciones de MDE y presupuesto optimistas o más bajas.
  • Meridian GeoX aborda este problema incorporando la validación fuera de la muestra o la división honesta de datos y las pruebas de placebo durante la fase de diseño. Cuando se evalúa la estabilidad del diseño en períodos de validación que no se usaron para el ajuste del modelo, se obtiene una estimación más realista de la varianza posterior a la prueba, lo que genera recomendaciones de presupuesto y MDE más conservadoras.

Cada método es válido según sus propias suposiciones técnicas, pero Meridian GeoX está diseñado para incorporar un margen de seguridad contra una volatilidad posterior al diseño más realista, lo que garantiza que los experimentos tengan una alta probabilidad de generar resultados concluyentes.

Requisitos y transferencia de datos

¿Es posible usar los ingresos netos, que pueden incluir valores negativos debido a reembolsos, como la métrica de conversión?

No. Si bien la validación del esquema no bloquea explícitamente las conversiones negativas y solo verifica que el total de conversiones sea positivo, los valores de conversión negativos pueden interrumpir la generación de candidatos (asignación voraz) y el modelado estadístico. Se recomienda usar valores absolutos no negativos, como los ingresos brutos o los recuentos de conversiones brutos. Si los reembolsos son significativos, ejecuta el análisis de las ventas brutas y aplica una proporción histórica de ventas netas a brutas posterior a la prueba.

¿Los datos de inversión de la campaña siempre son obligatorios durante la fase de diseño? ¿Cómo se obtienen?

El requisito de datos de inversión de la campaña depende del tipo de experimento:

  • Experimentos de supresión y aumento: Los datos de inversión diarios a nivel geográfico son obligatorios para calcular los niveles de inversión de referencia y proyectar presupuestos de prueba. La validación fallará si falta la columna de inversión para estos tipos de experimentos.
  • Experimentos de aislamiento: Son opcionales para los lanzamientos de campañas nuevas durante la fase de diseño. Sin embargo, debes proporcionar una referencia de costo por conversión incremental (CpIC) para estimar los requisitos de presupuesto.

Los datos de inversión que extraigas deben ser diarios y agregarse en el mismo nivel geográfico que tus conversiones, como DMA, estado o código postal.

  • Google Ads: Extrae la inversión geográfica diaria con la API de Google Ads a través de informes como campaign_location_target_report.
  • Otros publicadores: Usa las APIs específicas del publicador o las exportaciones de la IU de informes para recuperar la inversión diaria por ubicación geográfica objetivo.

Asegúrate de que los identificadores geográficos coincidan exactamente entre tus conjuntos de datos de conversiones y de inversión. Si usas códigos postales, asegúrate de que los ceros anteriores se conserven como cadenas durante la extracción y la exportación para evitar fallas de coincidencia de validación. Por ejemplo, tus códigos postales deben respetar el formato "02138", en lugar de "2138".

Para obtener más información, consulta Prepara tus datos previos a la prueba.

Los datos diarios de conversiones son muy volátiles. ¿Es posible subir datos semanales para filtrar las fluctuaciones?

No. GeoX requiere estrictamente datos diarios de series temporales. Los datos semanales no son compatibles y generarán errores de validación. Para controlar la volatilidad diaria, ten en cuenta lo siguiente:

  • Extender la duración de la prueba, por ejemplo, cambiar de cuatro semanas a seis u ocho semanas para acumular más datos y, potencialmente, reducir el MDE
  • Usar un KPI de conversión más superficial, como agregar al carrito o registrarse, que tenga un volumen más alto y menos días con recuento cero
  • Aumentar el tamaño del grupo de tratamiento objetivo o el porcentaje de conversión máximo

¿La biblioteca de Meridian GeoX permite incluir más de un KPI?

No. La biblioteca de Meridian GeoX solo admite un KPI de conversión por ejecución, que es la columna conversions del esquema de datos. Esto significa que no puedes optimizar un diseño de forma simultánea para varias métricas distintas, como las siguientes:

  • Conversiones segmentadas, como el seguimiento de compradores nuevos y recurrentes como KPIs objetivo independientes en la misma ejecución
  • Diferentes acciones de conversión, como hacer un seguimiento de las visitas a tienda y las ventas de forma simultánea o de los registros y las compras

Se requiere un diseño independiente para cada KPI, ya que cada uno tiene su propio volumen, tendencia y volatilidad históricos. Si ejecutas el motor de diseño por separado para cada KPI, es probable que recomiende diferentes divisiones geográficas y presupuestos.

Diseño y limitaciones del estudio

¿Es posible forzar un mercado específico para que sea el grupo de tratamiento o de control? ¿Cómo afecta esto al diseño del estudio?

  • Forzar a control: Puedes especificar las ubicaciones geográficas que se deben forzar a control con included_control_geos en Constraints.
  • Excluir ubicaciones geográficas: Puedes excluir ubicaciones geográficas por completo del experimento en situaciones como la protección de mercados de ingresos clave o para evitar interrupciones en las campañas de medios con excluded_geos en Constraints.
  • Forzar a tratamiento: No se admite en la biblioteca principal.

Si no hay motivos específicos de la empresa o ubicaciones geográficas atípicas, forzar las ubicaciones geográficas para que sean de control o excluirlas restringe el grupo de aleatorización y puede degradar el ajuste del modelo. Esto podría generar un MDE más grande para lograr importancia estadística.

¿Son muy pocas las unidades geográficas para que GeoX sea eficaz?

Debes incluir un mínimo de 10 ubicaciones geográficas para un diseño de celda única.

  • Usa el muestreo aleatorio para entre 10 y 20 ubicaciones geográficas: En los diseños con menos de 20 unidades geográficas, el muestreo estratificado es menos eficaz porque el agrupamiento en estratos está restringido. Si el muestreo estratificado no produce un diseño satisfactorio para ti, debes diseñar con una asignación aleatoria más simple.
  • Usa el muestreo estratificado para más de 20 ubicaciones geográficas: Cuando tu diseño tiene pocas ubicaciones geográficas, es probable que la potencia estadística sea baja, lo que genera MDE altos o requiere presupuestos muy grandes. Para obtener resultados óptimos, se recomienda usar una mayor cantidad de ubicaciones geográficas (por ejemplo, entre 50 y más de 100) para permitir una estratificación eficaz y una coincidencia sólida.

¿Qué sucede si se dispone de un presupuesto flexible y se desea ingresar un objetivo de CPA incremental o de ROAS incremental para obtener el presupuesto requerido?

Esto depende del tipo de experimento:

  • Experimentos de aislamiento: Ingresas el CpIC objetivo con cost_per_incremental_conversion en DesignConfig. Si las conversiones representan ingresos, el CpIC equivale a 1/iROAS. Luego, la biblioteca calcula el presupuesto necesario para detectar el MDE con la potencia preferida.
  • Experimentos de supresión y aumento: No ingresas el CpIC objetivo. Sin embargo, el presupuesto se determina según la inversión histórica en las ubicaciones geográficas de tratamiento seleccionadas. Puedes aplicar una restricción de budget_pct (por ejemplo, -100% para los experimentos de supresión o un aumento porcentual para los experimentos de aumento), y la biblioteca proyectará el CpIC implícito del diseño que puedes detectar con ese presupuesto.

Aclaración sobre el presupuesto y el MDE

El MDE estadístico o el cambio porcentual mínimo en las conversiones que el experimento puede detectar se determina únicamente por la volatilidad histórica y la coincidencia de las ubicaciones geográficas. Cambiar el presupuesto no altera este límite estadístico.

Si bien el MDE permanece constante, los objetivos de eficiencia que puedes medir correctamente cambian con el presupuesto:

  • Presupuesto más alto: Te permite detectar un CpIC más alto y menos eficiente, o un ROAS incremental más bajo y conservador. Esto aumenta la probabilidad de obtener una prueba concluyente para las campañas con un rendimiento moderado.
  • Presupuesto más bajo: Te restringe a medir campañas con un CpIC muy bajo o un ROAS incremental muy alto. Si el rendimiento real de la campaña es moderado, es posible que la prueba no sea concluyente.

Además de considerar el presupuesto requerido y el MDE, ¿cómo se debería decidir si un diseño es viable?

Evalúa la viabilidad con los siguientes elementos:

  • R cuadrado (\(R^2\)): \(R^2\) Se recomienda un valor ≥ 0.8. Un valor \(R^2\) bajo, como inferior a 0.5, indica que las ubicaciones geográficas de control no predicen bien las de tratamiento, lo que hace que el análisis posterior a la prueba no sea confiable.
  • Valor p de la prueba AA: La biblioteca filtra los diseños con simulaciones de placebo. Asegúrate de que el diseño seleccionado supere la prueba A/A (valor p ≥\(\alpha\)) para minimizar el riesgo de falsos positivos.
  • Viabilidad del MDE: Asegúrate de que el MDE proyectado sea viable para la empresa, es decir, que creas que la campaña puede lograr una efectividad mayor que el MDE.

Ajuste del valor de R cuadrado

El valor mínimo requerido \(R^2\) se controla con el parámetro min_r2 en geox.DesignConfig. De forma predeterminada, el valor mínimo requerido \(R^2\) es 0.8. Si la búsqueda de diseño no devuelve candidatos viables con un umbral de 0.8, tienes la posibilidad de flexibilizar el umbral, por ejemplo, ajustándolo a 0.75 o 0.70:

      design_config = geox.DesignConfig(
        experiment_duration=datetime.timedelta(days=28),
        experiment_types=geox.ExperimentType.HEAVY_UP,
        methodology=geox.Methodology.TBR,
        min_r2=0.7,  # Adjust threshold if 0.8 yields no candidate designs
        )

Implementación del experimento y análisis posterior a la prueba

Si es la primera vez que se ejecuta GeoX, ¿cuáles son los lineamientos generales para implementar un experimento?

Para quienes usan GeoX por primera vez, deben consultar la siguiente guía general:

  • Selecciona tu ruta de configuración:
    • IU de la plataforma (configuración manual): Es la mejor opción para los estudios estándar.
    • Editor de la plataforma (configuración masiva): Es la mejor opción para estudios complejos o de varias campañas. Esta ruta requiere la generación y, luego, la importación de un archivo de copia de seguridad de editor.
    • API de la plataforma (automatizada): Es mejor para la administración programática a nivel de la empresa. Ten en cuenta que la segmentación por código postal no se admite a través de la API.
  • Determina la estrategia de configuración de la campaña:
    • Modificar directamente (mantener la misma campaña): Se usa cuando los presupuestos no tienen límites. Restringir las ubicaciones geográficas directamente mantiene intacto el aprendizaje automático histórico.
    • Duplicar (copiar y pegar la campaña): Es obligatorio cuando las campañas tienen presupuestos diarios limitados. Si simplemente restringes las ubicaciones geográficas en una campaña con límite, el algoritmo invertirá el presupuesto ahorrado en las ubicaciones geográficas de control restantes, lo que contaminará el grupo de control. La duplicación aísla los presupuestos.
  • Configuración de la segmentación: Aplica las divisiones geográficas estrictamente con la segmentación por presencia para garantizar que los anuncios solo se publiquen en las ubicaciones geográficas de tratamiento y se excluyan de las de control.
  • Planifica un período de inactividad: Después de que finalice la prueba, mantén un período de inactividad de 1 a 2 semanas antes de volver a las condiciones normales (BAU) para capturar las conversiones rezagadas.

Para obtener instrucciones detalladas sobre cómo ejecutar tu experimento en Google, consulta la guía paso a paso para la implementación de campañas en el Centro de ayuda de Google Ads.

¿Es posible mantener activas las pruebas a nivel del usuario en las mismas campañas durante un experimento de GeoX?

No. Todos los estudios de medición a nivel del usuario, como la efectividad de conversiones y el Brand Lift, deben desactivarse en las campañas que se evalúan durante el experimento. Los estudios a nivel del usuario crean grupos de exclusión aleatorios ocultos dentro de tus ubicaciones geográficas, lo que contamina la división entre el grupo de tratamiento y el de control, diluye la potencia estadística y sesga el análisis posterior a la prueba.

¿Un diseño de varias celdas permite probar la importancia estadística de la diferencia entre dos grupos de tratamiento activos?

No. Los resultados de cada celda de tratamiento se evalúan de forma independiente en comparación con el control compartido. La biblioteca no proporciona una métrica estadística directa para determinar si la diferencia entre dos grupos de tratamiento activos es estadísticamente significativa.