Soluciona problemas relacionados con los resultados del diseño

Solucionar problemas de los resultados de diseño comprendiendo los requisitos de MDE. Con esta guía, buscamos ayudarte a verificar las métricas de diseño con los datos históricos y a ajustar los parámetros del estudio cuando los resultados no cumplen con tus objetivos de medición.

Análisis detallado del efecto mínimo detectable (MDE)

El resultado de cada diseño incluye un efecto mínimo detectable (MDE). El MDE representa el porcentaje de efectividad más bajo que tu experimento puede medir de forma estadística. Para garantizar que tu prueba tenga la potencia suficiente, debes asegurarte de que el MDE sea menor que la efectividad real que esperas que genere tu campaña. Un error común en la práctica es diseñar y ejecutar un experimento de Meridian GeoX con un MDE de gran tamaño. Si no tienes certeza sobre el rendimiento esperado de tu campaña, te recomendamos que mantengas una postura conservadora y elijas un MDE más pequeño. Esto garantiza que el experimento sea lo suficientemente sensible como para detectar incluso cambios sutiles.

Cuando pruebes tus campañas existentes con las opciones de prueba de supresión o de aumento, si tus estudios de incrementalidad históricos tienen configuraciones similares o si hay un modelo de Marketing Mix Modeling (MMM) disponible para tus segmentos de marketing, puedes verificar si el MDE que elegiste es realista. Para ello, puedes comparar el "CpIC implícito en el diseño" con el "CpIC estimado".

Para simplificar esta comparación, considera estas tres métricas principales (que también se ilustran en el siguiente diagrama), que indican que tu inversión en medios y la respuesta siguen una curva de retorno de la inversión publicitaria cóncava:

• Costo por acción (CPA): Es el costo por conversión estándar, que equivale a la inversión ($S$) / las conversiones ($C$). Ten en cuenta que, en este caso, el total de conversiones incluye tanto las conversiones incrementales como las no incrementales. Por ejemplo, eventos de conversión orgánica sin medios pagados.
• Elasticidad: Es igual a \(\frac{\Delta C / C}{\Delta S / S}\) en el diagrama. Es una medida de la sensibilidad de tus conversiones a los cambios en la inversión, que se puede inferir de los estudios históricos o del MMM.
  • En el caso de los estudios de supresión de la inversión en los que $\Delta S = -100\% * S$, la elasticidad se convierte básicamente en $-\Delta C / C$, la efectividad relativa esperada de tu estudio.
• Costo por conversión incremental (CpIC): Es igual a $\Delta S / \Delta C$. Representa el costo real de cada conversión incremental generada por el cambio en la inversión incremental debido a tu intervención de marketing.

Una prueba bien diseñada garantiza que tu CpIC implícito en el diseño, que se calcula como el presupuesto dividido por las conversiones incrementales mínimas requeridas, esté alineado con tu CpIC teórico, que se calcula como el CPA dividido por la elasticidad. Idealmente, el CpIC implícito en el diseño no debería ser inferior al CpIC estimado para garantizar que la prueba tenga la potencia suficiente.

Extrae el CpIC implícito en el diseño para el diseño del experimento de una sola celda elegido:

select_design = single_cell_design_set.designs[single_cell_selected_design_id]
select_design.designs['cell_1'].design_implied_cpic

Comprende la relación entre el presupuesto, el MDE y el CpIC implícito en el diseño

Un punto de confusión común es cómo el ajuste del presupuesto afecta la sensibilidad de la prueba.

• El MDE es independiente del presupuesto: El MDE estadístico (el cambio porcentual mínimo en las conversiones que puede detectar el experimento) se determina únicamente por la volatilidad histórica y la coincidencia geográfica. Cambiar el presupuesto solo en Constraints no altera este límite estadístico.
• El presupuesto determina el CpIC implícito en el diseño: Mientras que el MDE (el porcentaje de efectividad requerido) permanece constante, el CpIC implícito en el diseño cambia de forma proporcional con el presupuesto:
  • Presupuesto más alto: Genera un CpIC implícito en el diseño más alto (menos eficiente). Esto aumenta la probabilidad de obtener una prueba concluyente para las campañas con un rendimiento moderado.
  • Presupuesto más bajo: Restringe el diseño a un CpIC implícito en el diseño muy bajo (muy eficiente). Si el rendimiento real de la campaña es moderado en lugar de ser muy eficiente, es posible que la prueba no sea concluyente.

Cuando ningún resultado de diseño se ajusta a tu objetivo de medición

Es posible que, incluso con nuestra optimización del diseño, el MDE más bajo de los mejores candidatos de diseño siga siendo demasiado grande para tu caso. Por lo general, esto indica que tus campañas de prueba no se ejecutan con un presupuesto suficiente para impulsar GeoX, según la configuración del estudio que especificaste y el nivel de ruido inherente en tus datos de KPI. Primero, debes aumentar el presupuesto del parámetro de forma explícita en geox.Constraints(). Luego, es posible que debas ajustar la configuración del estudio después de aumentar el presupuesto del experimento con una de estas dos opciones:

• Puedes aumentar la duración del estudio cambiando experiment_duration en geox.DesignConfig().
• Puedes optar por mantener la duración existente, pero aumentar el parámetro max_conversions_percent en geox.Constraints(), lo que significa que un porcentaje más alto de ubicaciones geográficas se verá afectado por tu intervención.

Con cualquiera de los dos enfoques, puedes intentar obtener un mayor volumen de conversiones incrementales actualizando la configuración del estudio. También puedes considerar diseñar tu prueba para incluir otros objetivos de conversión más superficiales, como vistas de página o artículos agregados al carrito, suponiendo que estas conversiones superficiales también se vean afectadas por tus campañas. Esto puede proporcionar un mayor volumen de datos, lo que puede generar un MDE más bajo.

Otra opción es aumentar de forma directa el presupuesto diario de la campaña, aunque no se recomienda hacerlo directamente en el experimento, ya que se incumple la suposición de que las ubicaciones geográficas de control siempre deben estar en el estado de BAU. Si tu caso requiere que aumentes el presupuesto de la campaña, se recomienda que primero lo aumentes y, luego, esperes hasta tener suficientes datos de diseño del período previo bajo el nuevo BAU antes de ejecutar un nuevo diseño de estudio y continuar con el GeoX real.

Optimiza los experimentos para los aumentos repentinos estacionales

Ejecutar GeoX durante los aumentos repentinos estacionales, como las festividades del cuarto trimestre o los eventos de ventas importantes, presenta desafíos como una alta volatilidad y restricciones comerciales (por ejemplo, períodos "intocables" en los que no se pueden desactivar los medios). Aquí encontrarás lineamientos para estructurar tus estudios en torno a estos períodos.

Cómo manejar los períodos "intocables" de mayor actividad o las restricciones comerciales

Si tu empresa no puede permitirse desactivar la publicidad (supresión) en mercados clave durante un período de ventas de temporada alta, haz lo siguiente:

• Usa una estrategia de aumento de la inversión en lugar de una de supresión:
  • En lugar de probar el valor de la inversión en comparación con una inversión nula (supresión) prueba el impacto marginal de la inversión adicional.
  • Mantén las ubicaciones geográficas de control en tu presupuesto de referencia planificado (BAU) y aumenta aún más la inversión en las ubicaciones geográficas de tratamiento (por ejemplo, de un 20% a un 50%). Esto te permite captar la demanda máxima en todos los mercados mientras mides la efectividad incremental de la inversión adicional.
• Usa la opción de supresión para minimizar el riesgo:
  • A veces, se denomina atenuación, y las pruebas de supresión parciales evalúan la eficiencia marginal, es decir, el ROI de tu última o mayor porción de inversión con una reducción parcial (por ejemplo, reducir la inversión en un 20% en las ubicaciones geográficas de tratamiento). Esto minimiza el riesgo de ingresos durante los períodos de mayor actividad y, al mismo tiempo, mide la incrementalidad de esa porción específica del presupuesto. Ten en cuenta que esto no medirá la eficiencia de referencia total, que compara la inversión de BAU con la inversión cero y requiere una prueba de supresión total.

Administra los períodos previos y posteriores a las pruebas durante los aumentos repentinos estacionales

La transición hacia un aumento repentino estacional y desde él suele caracterizarse por cambios rápidos en el comportamiento de los usuarios y la dinámica de ofertas de la plataforma. Para garantizar la estabilidad del modelo, haz lo siguiente:

• Evita las transiciones de prueba durante los aumentos repentinos: Intenta asegurarte de que las fechas de inicio y finalización de la prueba no caigan directamente en medio de una transición abrupta (por ejemplo, iniciar la prueba el día anterior al Black Friday). El modelo es más estable cuando la relación entre las ubicaciones geográficas de tratamiento y de control es coherente.
  • Inicia la prueba con anticipación: Implementa las divisiones del presupuesto (supresión o aumento) unas semanas antes de que comience la transición de temporada. Esto le da tiempo al algoritmo de ofertas de la plataforma de anuncios para estabilizarse con los nuevos presupuestos geográficos antes de que se alcance el volumen máximo.
  • Finaliza la prueba tarde: Mantén la prueba durante el aumento repentino y solo vuelve al BAU después de que el volumen máximo haya disminuido y se haya estabilizado a los niveles normales.
• Extiende los datos previos a la prueba para la validación: En el caso de las empresas con una estacionalidad muy marcada, los datos previos a la prueba de \( 3N \) mínimos requeridos suelen ser insuficientes. Prepara, al menos, un año de datos históricos para validar tu diseño.
• Valida el diseño en los aumentos repentinos históricos (pruebas de placebo):
  • Antes de ejecutar la prueba, realiza la búsqueda de diseño utilizando datos históricos del mismo aumento repentino estacional del año anterior como período de validación.
  • Asegúrate de que el diseño candidato supere las pruebas de placebo A/A (valor p\( \ge \alpha \)) y mantenga un buen ajuste (\( R^2 \ge 0.8 \)) durante ese período de actividad máxima histórico. Si falla, la relación entre tus ubicaciones geográficas se vuelve inestable durante los períodos de alto volumen, por lo que debes evitar realizar pruebas durante el momento de mayor actividad.