La calibración es el proceso de usar los resultados de los experimentos y otros conocimientos del dominio para establecer distribuciones a priori específicas del canal.
Las distribuciones a priori predeterminadas de Meridian son moderadamente informativas. Los datos pueden ser ruidosos. A menudo, es útil calibrar las distribuciones a priori del tratamiento, que te permiten "guiar" el modelo con tu conocimiento empresarial del mundo real, ya sea que provenga de experimentos rigurosos o de tus expectativas profesionales.
Piensa en una distribución a priori calibrada como una "protección". Puede ser tentador tener protecciones débiles o nulas (en forma de distribuciones a priori no informativas), pero esto podría ser riesgoso y generar resultados deficientes del modelo. Para obtener más información, consulta Distribuciones a priori planas y regularización.
Por ejemplo, sin una distribución a priori razonablemente sólida, el modelo podría estimar que un canal con una inversión baja genera ingresos masivos. La calibración de las distribuciones a priori ayuda a guiar las estimaciones del modelo hacia un rango realista.
Formula tus creencias previas
La calibración de las distribuciones a priori no es un cálculo preciso, sino que combina datos con conocimiento del dominio y juicios subjetivos.
Después de elegir la métrica, puedes continuar con la calibración. Al realizar la calibración, ten en cuenta lo siguiente.
Usa experimentos de incrementalidad
Los experimentos de incrementalidad son quizás la base más sólida para formular tu intuición, pero traducir los resultados del experimento en distribuciones a priori no es una fórmula precisa.
Del experimento a la distribución a priori
No existe una fórmula única para traducir el resultado de un experimento en una distribución a priori. Si hablamos de la fórmula bayesiana, el conocimiento de la distribución a priori se define de manera más amplia y no necesita ser un cálculo formulado. Puedes combinar diferentes evidencias (como los resultados de varios experimentos o cualquier otro conocimiento del dominio) y sus incertidumbres en una sola distribución a priori, en lugar de aplicar de forma rígida el resultado de un experimento.
Un enfoque común es usar la estimación puntual de un experimento como la distribución a priori media y su error estándar como la desviación estándar de la distribución a priori.
El marco bayesiano de Meridian te permite combinar cuidadosamente diferentes evidencias (como los resultados de varios experimentos o cualquier otro conocimiento del dominio) y sus incertidumbres en una sola distribución a priori, en lugar de aplicar de forma rígida el resultado de un solo experimento.
Comparación entre el ROI del experimento y el ROI del MMM
En términos estadísticos, los experimentos y los MMM tienen diferentes estimandos y objetivos de medición, es decir, definen el ROI de diferentes maneras.
El ROI que se mide a través de un experimento casi nunca coincide perfectamente con el que se mide con el MMM. (En términos estadísticos, el experimento y el MMM tienen diferentes estimandos). Los experimentos siempre se relacionan con condiciones específicas, como el período, las regiones geográficas y la configuración de la campaña.
Los resultados del experimento proporcionan información muy pertinente, pero recuerda que traducirlos en una distribución a priori del MMM implica una capa adicional de incertidumbre más allá del error estándar del experimento.
Consideraciones de pertinencia
Si usas experimentos anteriores, considera cuidadosamente su pertinencia. Antes de usar los resultados del experimento para fundamentar las distribuciones a priori, hazte las siguientes preguntas:
- Momento: ¿El experimento se ejecutó antes, durante o después del período que abarcan los datos del MMM? Los resultados de un período diferente podrían no ser directamente aplicables.
- Duración: ¿El experimento fue lo suficientemente extenso como para captar los efectos a largo plazo del marketing? Es posible que los experimentos cortos no lo sean.
- Complejidad: Si el experimento involucró una combinación de canales, es posible que sea difícil obtener estadísticas claras sobre el rendimiento de los canales individuales.
- Diferencias en los estimandos: La situación contrafáctica del MMM es una inversión nula, mientras que algunos experimentos podrían definir el ROI en función de un valor de referencia diferente, como una inversión reducida.
- Diferencias en la población: ¿La población objetivo del experimento era la misma que la considerada en el MMM?
Usa el conocimiento y la intuición del dominio
Cuando sea posible, puedes y debes usar el conocimiento del dominio para fundamentar tus distribuciones a priori. Establecer distribuciones a priori implica usar tu intuición para definir un rango plausible de valores para el rendimiento de cada canal de marketing. Este proceso se basa en una combinación de juicios fundamentados, que se obtienen de diversas fuentes, como el conocimiento del dominio, los resultados anteriores, las comparativas de sectores y, en especial, los experimentos de incrementalidad.
Los experimentos de incrementalidad son quizás la base más sólida para formular tu intuición, pero traducir los resultados del experimento en distribuciones a priori no es una fórmula precisa. Incluso los experimentos tienen limitaciones, y diferentes experimentos pueden arrojar resultados diferentes. Tu distribución a priori del ROI debe ser una síntesis de toda la información que tienes disponible.
Si tu intuición sobre el rendimiento de un canal es débil, es aceptable establecer una distribución a priori débil (una con una desviación estándar grande). Sin embargo, cuando tu intuición es más fuerte, incorporarla a través de distribuciones a priori hace que tu modelo sea más potente y menos susceptible al ruido en los datos.
En la práctica, casi siempre tienes una cierta intuición. Por ejemplo, es probable que creas que la probabilidad de un ROI causal del 50 es bastante baja para la mayoría de los canales. Si tu empresa ejecutó muchos experimentos a lo largo de los años y nunca obtuvo un ROI superior a 6 para un canal específico, tu distribución a priori debería reflejar esto asignando una probabilidad muy baja a los valores del ROI superiores a 6. Usa la información que tengas para fundamentar tus distribuciones a priori.
Independientemente de cómo establezcas tus distribuciones a priori, siempre te recomendamos que las grafiques y examines sus percentiles. Pregúntate si las probabilidades se alinean con tus expectativas. Por ejemplo, si el 80% de tu distribución de probabilidad a priori es mayor que un ROI de 1.0, ¿refleja tu confianza a priori en la rentabilidad del canal?
Usa tu nivel de confianza para establecer la desviación estándar de la distribución a priori
Usa la intensidad de tu creencia previa para fundamentar la desviación estándar de la distribución a priori. Si crees firmemente en la efectividad de un canal (por ejemplo, a partir de varios experimentos con estimaciones puntuales del ROI similares o resultados de MMM anteriores), puedes establecer una desviación estándar más pequeña para la distribución a priori y, así, indicar un alto nivel de confianza. Por el contrario, si tienes dudas sobre qué tan bien se traducen los resultados de un experimento al MMM, puedes usar una desviación estándar más grande que refleje esa incertidumbre. Recuerda que las distribuciones a priori no son restricciones rígidas, sino puntos de partida. Si los datos presentan evidencia sólida que contradice la distribución a priori, el modelo se ajustará en consecuencia. La desviación estándar de la distribución a priori determina cuánto peso se le otorga a tu creencia inicial en comparación con la evidencia de los datos.
Distribuciones a priori planas y regularización
En Meridian, es útil considerar las distribuciones a priori informativas como una forma matemática de regularización. La regularización es una técnica de modelado estadístico que introduce información o restricciones adicionales para evitar que un modelo se sobreajuste a los datos ruidosos.
Los métodos de regularización comunes, como la regresión LASSO o Ridge, suelen restringir las estimaciones acercándolas a cero. El marco bayesiano de Meridian ofrece un enfoque más flexible, ya que utiliza la distribución a priori para realizar la regularización. En lugar de establecer un valor predeterminado de cero, una distribución a priori informativa regulariza el modelo hacia un rango realista de valores fundamentados en el conocimiento empresarial o los datos históricos.
Confiar en la distribución a priori para regularizar el modelo es especialmente importante porque proporciona una ancla matemática necesaria cuando tus datos son limitados o carecen de un indicador claro. Si bien puede ser tentador usar distribuciones a priori planas y no informativas para los canales que no tienen experimentos previos, hacerlo elimina este efecto estabilizador y puede generar estimaciones poco confiables o de alta varianza. Si no tienes resultados de experimentos anteriores ni intuición comercial, comienza con las distribuciones a priori predeterminadas de Meridian. Estos valores predeterminados actúan como puntos de partida razonables que regularizan el modelo de manera eficaz. Encontrar el grado ideal de regularización suele ser un proceso iterativo que implica verificar la adecuación del modelo fuera de la muestra en varios niveles de regularización.
Ejemplos de código
En los siguientes ejemplos, se muestra cómo definir y usar distribuciones a priori en Meridian.
Ejemplo: Cómo definir una distribución a priori lognormal a partir de la intuición o de experimentos
Meridian proporciona dos funciones auxiliares para ayudarte a construir distribuciones lognormales a partir de datos experimentales o de otro conocimiento previo:
prior_distribution.lognormal_dist_from_mean_std: Crea una distribución lognormal a partir de una desviación media y una desviación estándar determinadas. Por ejemplo, aquí podrías usar la estimación puntual y el error estándar de un experimento.prior_distribution.lognormal_dist_from_range: Construye una distribución lognormal en la que una masa de probabilidad especificada (como el 95%) se encuentra dentro de un límite inferior y superior determinados. Por ejemplo, aquí podrías usar el intervalo de confianza del 95% de un experimento.
Visita esta página para ver cómo definir una distribución a priori lognormal a partir de la intuición o de experimentos.
Ejemplo: Cómo ajustar la calibración del ROI según los resultados del experimento
Consulta Cómo configurar las distribuciones a priori para los medios pagados para obtener información sobre cómo establecer distribuciones a priori del ROI en función de los resultados del experimento.
Grafica tus distribuciones a priori para confirmar que coincidan con tu intuición
Te recomendamos que generes gráficos y visualices las distribuciones a priori personalizadas, en especial, las distribuciones a priori del ROI. Esto te ayuda a verificar si la distribución a priori personalizada se alinea con tus expectativas antes de continuar con el análisis.
Consideraciones adicionales para calibrar las distribuciones a priori del tratamiento
En esta sección, se incluyen consideraciones adicionales para calibrar las distribuciones a priori del tratamiento.
Considera el período de calibración del ROI
Puedes considerar usar el argumento roi_calibration_period en ModelSpec si tu información previa solo es pertinente para un período específico. Sin embargo, se recomienda establecer una distribución a priori en el período de modelado completo siempre que sea posible. Para establecer esta distribución a priori, se debe usar toda la información disponible, incluidos los experimentos y el conocimiento del dominio. Para obtener más información, consulta Cómo establecer el período de calibración del ROI.
Comprende los cambios a priori y a posteriori
Comparar los cambios en las distribuciones entre la distribución a priori y la distribución a posteriori puede indicar si el modelo aprende de los datos o si se ve muy influenciado por la distribución a priori que calibraste.
Para obtener más información, consulta los cambios en las distribuciones a priori y a posteriori en las verificaciones de calidad posteriores al modelado de Meridian.