Las distribuciones a priori del ROI predeterminadas de Meridian son moderadamente informativas. Una de las formas más útiles de mejorar las estimaciones de tu modelo de Meridian es calibrar las distribuciones a priori del ROI con experimentos de incrementalidad. Las pruebas de incrementalidad establecen una verdad fundamental experimental para calibrar las estimaciones de Meridian, lo que garantiza que tus métricas de ROI reflejen el impacto causal.
Dado que ejecutar experimentos en todos los canales de medios es costoso y complejo desde el punto de vista logístico, Meridian ayuda a identificar los canales en los que el modelo muestra una gran incertidumbre, un sesgo potencial o estimaciones de referencia poco realistas para priorizarlos en las pruebas. Para ello, genera una recomendación y una puntuación de calibración de canales de nivel superior para cada canal de tu MMM.
Puedes usar estas recomendaciones y puntuaciones para identificar estos canales y evaluar cuáles se beneficiarían más si se calibrara su distribución a priori del ROI con un experimento de incrementalidad, como los que se ejecutan con Meridian GeoX. Para obtener más información sobre cómo configurar y ejecutar un experimento de Meridian GeoX, consulta Meridian GeoX.
Ejecuta la recomendación de calibración de canales
Es posible acceder a la recomendación y las puntuaciones de calibración de canales de Meridian en el informe de estado del modelo, que se puede generar ejecutando lo siguiente:
from IPython import display
from meridian.analysis.review import reviewer
from meridian.model import model
mmm = model.Meridian(...)
health_summary = reviewer.ModelReviewer(mmm).run()
filename = 'health_card.html'
health_summary.output_model_health_card(filename=filename, filepath=meridian_root)
display.HTML(filename=f'{meridian_root}{filename}')
Comprende cómo Meridian propone canales para la calibración
Meridian propone canales para la calibración calculando una puntuación de calibración compuesta y marcando los canales cuyas puntuaciones son inferiores a 67.5. La puntuación de calibración compuesta es una medida unificada de cuánto se beneficiaría un canal determinado de la calibración. Unifica las métricas de ROI no plausible, ROI de alta varianza y sesgo potencial en una sola puntuación escalar.
Esta puntuación compuesta te permite distinguir entre canales marcados de manera similar para decidir cuáles priorizar:
- Puntuaciones más altas (cercanas a 100): Se consideran más saludables y se beneficiarían menos de la calibración.
- Puntuaciones más bajas (cercanas a 0): Se consideran menos saludables y se beneficiarían más de la calibración.
La puntuación de calibración compuesta general se define como el promedio ponderado de las puntuaciones de tres componentes: la puntuación de ROI no plausible, la puntuación de ROI de alta varianza y la puntuación del sesgo potencial. Estas puntuaciones se basan en cuatro criterios de recomendación de canales individuales.
Criterios de recomendación de canales
Meridian realiza cuatro verificaciones cuando propone canales de medios y de alcance y frecuencia para la calibración:
- Estimaciones de ROI no plausibles y altas
- Estimaciones de ROI no plausibles y bajas
- Estimaciones del ROI de alta varianza
- Sesgo de alto potencial
Los criterios de ROI no plausible y alto, ROI no plausible y bajo, y ROI de alta varianza se ponderan según la inversión para tener en cuenta la tendencia de los canales con inversión baja a tener una varianza más alta, lo que puede generar estimaciones puntuales extremas y distribuciones a posteriori amplias. La ponderación de la inversión también prioriza la calibración de los canales con mayor inversión debido a su mayor importancia comercial.
La recomendación de calibración general se basa en la puntuación de calibración compuesta. Si se marca algún criterio, se etiqueta como un factor determinante de la recomendación de calibración de canales. Cada uno de los criterios se explica en esta sección.
ROI no plausible y alto
Meridian verifica si un ROI no plausible y alto es un factor determinante en la recomendación de calibración. Para ello, calcula el ROI ponderado por la inversión y lo compara con un umbral superior definido, \(T_{\text{high_roi}}\). El canal \(i\) es un factor determinante si su ROI medio ponderado según la inversión supera el umbral:
\[ \frac{\text{spend}_{i}}{\sum_{j}\text{spend}_{j}}\cdot ROI_{i} > T_{\text{high_roi}} \]
aquí, \(\text{spend}_{i}\) y \(ROI_{i}\) son la inversión y el ROI del canal\(i\), respectivamente, y la suma en el denominador se calcula en todos los canales de medios pagados y de alcance y frecuencia.
De forma predeterminada, \(T_{\text{high_roi}}=20\).
ROI no plausible y bajo
De manera similar, Meridian calcula el ROI ponderado por la inversión recíproca y lo compara con un umbral inferior definido, \(T_{\text{low_roi}}\), para verificar si un ROI no plausible y bajo es un factor determinante de la recomendación de calibración. En este caso, Meridian usa la ponderación de inversión recíproca porque la desigualdad es un límite inferior. El canal \(i\) es un factor determinante si su ROI medio ponderado por la inversión recíproca es inferior al umbral:
\[ \left(\frac{\text{spend}_{i}}{\sum_{j}\text{spend}_{j}}\right)^{-1} \cdot ROI_{i} < T_{\text{low_roi}} \]
aquí, \(\text{spend}_{i}\) y \(ROI_{i}\) son la inversión y el ROI del canal\(i\), respectivamente, y la suma en el denominador se calcula en todos los canales de medios pagados y de alcance y frecuencia.
De forma predeterminada, \(T_{\text{low_roi}}=0.5\).
ROI de alta varianza
Este criterio identifica los canales en los que la estimación del modelo es muy incierta. Meridian verifica si hay una varianza alta comparando el ancho del intervalo creíble del ROI a posteriori del canal con el ancho del intervalo creíble del ROI a priori predeterminado de Meridian (que, de forma predeterminada, es LogNormal(0.2, 0.9)). Esta verificación compara el ancho de la distribución a posteriori del intervalo creíble del percentil 80 normalizado y ponderado por la inversión con el ancho del intervalo creíble del percentil 80 de la distribución a priori predeterminada de Meridian (LogNormal(0.2, 0.9)). El canal \(i\) se marca si este ancho relativo supera un umbral \(T_{\text{high_variance}}\). Específicamente, supongamos lo siguiente:
- \(\text{CI}^{(u)}\) es el límite superior del intervalo creíble del percentil 80 del ROI de la distribución a posteriori del canal \(i\).
- \(\text{CI}^{(l)}\) es el límite inferior del intervalo creíble del percentil 80 del ROI de la distribución a posteriori del canal \(i\).
- \(\tilde{x} \) es la mediana del ROI de la distribución a posteriori del canal \(i\).
- \(\text{CI}_\text{default}^{(u)}=2.64\) es el límite superior del intervalo creíble del percentil 80 de la distribución a priori del ROI predeterminada de Meridian.
- \(\text{CI}_\text{default}^{(l)}=0.11\) es el límite inferior del intervalo creíble del percentil 80 de la distribución a priori del ROI predeterminada de Meridian.
- \(\tilde{x}_\text{default}=1.22\) es la mediana de la distribución a priori del ROI predeterminada de Meridian.
Luego, la verificación del ROI de alta varianza es la siguiente:
\[ \left(\frac{\text{spend}_{i}}{\sum_{j}\text{spend}_{j}}\right)\left(\frac{( \text{CI}^{(u)} - \text{CI}^{(l)} ) / \tilde{ x}}{(\text{CI}_\text{default}^{(u)} - \text{CI}_\text{default}^{(l)}) /\tilde{x}_\text{default} }\right) > T_\text{high_variance} \]
aquí, \(\text{spend}_{i}\) es la inversión del canal \(i\) y la suma en el denominador se calcula en todos los canales de medios pagados y de alcance y frecuencia
De forma predeterminada, \(T_\text{high_variance}=1.0\).
Sesgo potencial (canales a los que les faltan variables de confusión)
Las estimaciones del ROI de la distribución a posteriori de Meridian pueden estar sesgadas si a los modelos les faltan variables de confusión clave. Por ejemplo, si un modelo no incluye una variable de confusión para un período de días feriados, es posible que estime de forma incorrecta que los aumentos naturales de las ventas se debieron a los canales que aumentaron la inversión durante ese mismo período. La calibración basada en experimentos ayuda a corregir este sesgo, ya que fundamenta las estimaciones del ROI del modelo en datos causales reales.
Meridian verifica si hay un sesgo potencial calculando, para cada canal de medios pagados y de alcance y frecuencia, la correlación absoluta máxima con cualquier variable de control en todas las ubicaciones geográficas y comparándola con un umbral \(T_\text{bias}\).
Para un canal de medios pagados o de alcance y frecuencia \(i\)determinado, supongamos que\(E_{g,t,i}\) es su nivel de ejecución:
\[ E_{g,t,i} = \begin{cases} x^{[M]}_{g,t,i} & \text{for paid media channels} \\ r^{[RF]}_{g,t,i} \cdot f^{[RF]}_{g,t,i} & \text{for paid reach and frequency channels} \end{cases} \]
aquí, \(x^{[M]}_{g,t,i}\) es la ejecución del canal de medios pagados \(i\) en la ubicación geográfica \(g\) en el momento \(t\) , y \(r^{[RF]}_{g,t,i}\) y\(f^{[RF]}_{g,t,i}\) son el alcance y la frecuencia del canal de alcance y frecuencia \(i\) en la ubicación geográfica \(g\) en el momento \(t\), respectivamente.
La verificación marca el canal \(i\) si su correlación absoluta máxima con cualquier variable de control \(j\) en todas las ubicaciones geográficas es menor que el umbral:
\[ \max_{j, g} |\text{corr}_t (E_{g,t,i}, z^{[C]}_{g,t,j}) | < T_\text{bias} \]
aquí, \(\text{corr}_t(E_{g,t,i}, z^{[C]}_{g,t,j})\) es la correlación a lo largo del tiempo entre la ejecución del canal y la variable de control\(z^{[C]}_{g,t,j}\) en la ubicación geográfica \(g\).
De forma predeterminada, \(T_\text{bias}=0.1\).
Comprende la puntuación compuesta de las recomendaciones de canales de Meridian
La puntuación compuesta de la recomendación de canales es un promedio ponderado de una puntuación de ROI no plausible, una puntuación de ROI de alta varianza y una puntuación de sesgo potencial. Las tres puntuaciones de los componentes individuales se definen transformando los indicadores binarios de los factores en puntuaciones continuas que van de cero a 100. La puntuación de ROI no plausible recibe una ponderación de 0.5, ya que abarca tanto el ROI no plausible y bajo como el no plausible y alto, mientras que la puntuación de ROI de alta varianza y la puntuación de sesgo potencial reciben ponderaciones de 0.25:
\[ \begin{align} \text{composite_calibration_score}\;=\;& 0.5 \cdot \text{implausible_roi_score} \\ +\;& 0.25 \cdot \text{high_variance_roi_score} \\ +\;& 0.25 \cdot \text{potential_bias_score} \end{align} \]
Puntuación de ROI no plausible
La puntuación de ROI no plausible es una métrica conjunta que combina las verificaciones de ROI no plausible y bajo y ROI no plausible y alto en una sola puntuación. Meridian usa la distancia desde el centro geométrico de los umbrales de ROI bajo y alto para definir la puntuación. Cuanto más lejos del centro, menor será la puntuación. La puntuación disminuye rápidamente una vez que se cruzan los umbrales de ROI alto o bajo, y se acerca a cero a medida que el ROI se acerca a cero o al infinito.
Para obtener más detalles, consulta la sección Puntuación de ROI no plausible en el apéndice.
Puntuación de ROI de alta varianza
La puntuación de ROI de alta varianza es una versión unilateral de la puntuación de ROI no plausible basada en el ancho del intervalo creíble de la distribución a posteriori del ROI. La puntuación se establece en 100 si el intervalo creíble relativo ponderado por la inversión es inferior a 0.5. A medida que aumenta el intervalo creíble relativo ponderado por la inversión, la puntuación disminuye.
Para obtener más detalles, consulta la sección Puntuación del ROI de alta varianza en el apéndice.
Puntuación de sesgo potencial
La puntuación de sesgo potencial evalúa la correlación máxima entre los canales y los controles. Se define según una relación de potencia basada en la correlación máxima (en valor absoluto) y un exponente.
Para obtener más detalles, consulta Puntuación de sesgo potencial en el apéndice.
Comprende la puntuación de calibración compuesta a nivel del modelo
La puntuación de calibración compuesta a nivel del modelo es el promedio de las puntuaciones de calibración de cada canal. Los canales calibrados tienen puntuaciones establecidas en 100 en el promedio, lo que refleja el hecho de que se calibraron.
Si no usas CalibrationBuilder, pero quieres marcar los canales como calibrados para calcular con precisión la puntuación compuesta a nivel del modelo, puedes usar la clase CalibratedDistribution directamente:
import numpy as np
import tensorflow_probability.substrates.jax as tfp_jax
from meridian.model.calibration import base
from meridian.model import prior_distribution
# Two media channels. The second channel is self-calibrated
distributions = tfp_jax.distributions.LogNormal(
np.array([0.2, 0.3], dtype=np.float64),
np.array([0.9, 0.7], dtype=np.float64),
)
roi_m_prior = base.CalibratedDistribution(
distributions,
is_calibrated=[False, True],
)
prior = prior_distribution.PriorDistribution(
roi_m=roi_m_prior,
)
# Pass prior to ModelSpec and continue with modeling
Apéndice matemático
En esta sección, se describen los detalles técnicos de la puntuación de ROI no plausible, la puntuación de ROI de alta varianza y la puntuación de sesgo potencial. Para obtener más detalles sobre la notación matemática que se usa a continuación, consulta la Referencia de notación matemática.
Puntuación de ROI no plausible
Meridian usa una formulación en forma de tazón normalizada que combina los criterios de ROI bajo y alto para priorizar la parsimonia y la comprensión del usuario. Esta formulación calcula la distancia logarítmica normalizada desde el centro geométrico de la región no marcada. Los pasos para calcular la puntuación son los siguientes:
- Se establece el centro geométrico de los umbrales bajo y alto.
- La distancia desde el ROI del canal hasta este centro se calcula en relación con los límites.
- La puntuación resultante se define por una forma de tazón, en la que un hiperparámetro k define la inclinación del tazón.
Específicamente, supongamos que \(z = \log \left(r / M \right)\) es la distancia logarítmica desde el centro geométrico de los umbrales de ROI bajo y ROI alto \(M = \sqrt{T_{\text{low_roi}} \cdot T_{\text{high_roi}}} = \sqrt{10}\). Luego, para cualquier porcentaje de inversión \(S_{\%}\), la distancia desde \(M\) hasta el límite superior y el inferior es \(\pm D\) , donde
\[ D = \log \left(\frac{1}{S_{\%}}\sqrt{\frac{T_{\text{high_roi}}}{T_{\text{low_roi}}}}\right) \]
de modo que la proporción \(z / D\) defina una distancia logarítmica normalizada a los límites. Luego, definimos la puntuación en forma de tazón normalizada de la siguiente manera:
\[ S_\text{bowl} = 100 \cdot \exp \left( - k \left(\frac{z}{D}\right)^2\right) \]
Donde \(k\) es un hiperparámetro que define la inclinación de la curva. Seleccionamos \(k = \log (2)\) para que \(S_\text{bowl} = 1/2\) a lo largo de los límites.
Puntuación de ROI de alta varianza
El ROI de alta varianza es una versión unilateral de la curva normalizada que se usa en la puntuación de ROI no plausible. Debido a que el punto de referencia para la varianza es cero, el enfoque logarítmico estándar que se usa en la puntuación en forma de tazón normalizada se vuelve impreciso cerca del punto de referencia.
Para resolver este problema, Meridian usa una formulación en forma de medio tazón normalizada basada en la formulación en forma de tazón normalizada de la verificación de ROI no plausible. Esta formulación en forma de medio tazón es una función del intervalo creíble relativo de la distribución a posteriori: el intervalo creíble del percentil 80 del ROI de la distribución a posteriori normalizado y ponderado por la inversión en relación con el ancho del intervalo creíble del percentil 80 de la distribución a priori del ROI predeterminada de Meridian (LogNormal(0.2, 0.9)). Se considera que el intervalo creíble es el intervalo de densidad más alta.
Se define una región ideal de referencia para el intervalo creíble relativo: si el ancho del intervalo creíble relativo ponderado por la inversión es inferior a 0.5, la puntuación se establece en 100. A medida que el intervalo creíble relativo aumenta más allá del punto ideal, la puntuación disminuye según la curva en forma de medio tazón. Específicamente, para cada valor de \(S_{\%} \cdot \text{RCI} < T_{\text{ideal}} = 0.5\), donde RCI es el intervalo creíble relativo del ROI de la distribución a posteriori, la puntuación se establece en 100:
\[ S_{\text{half_bowl}}(\text{RCI}, S_{\%}) = \begin{cases} 100, & S_{\%} \cdot \text{RCI} \le T_{\text{ideal}} \\ 100 \cdot \exp\left(-k \left(\frac{\ln(S_{\%} \cdot \text{RCI}/T_{\text{ideal}})}{\ln(T_{\text{high_variance}}/T_{\text{ideal}})}\right)^2\right), & S_{\%} \cdot \text{RCI} > T_{\text{ideal}} \end{cases} \]
Al igual que en la puntuación de ROI no plausible, se usa \(k = \log(2)\) .
Puntuación de sesgo potencial
La puntuación de sesgo potencial es una función de la correlación máxima entre los canales y los controles. Se define según una relación de potencia basada en la correlación máxima (en valor absoluto) y un exponente. El exponente se selecciona de forma explícita para que la puntuación de sesgo potencial sea exactamente igual a 50 en el umbral de correlación de 0.1.
- La penalización aumenta de forma abrupta de una correlación máxima de 0.0 a 0.1, donde la puntuación se evalúa en 50.
- Después de superar el valor de 0.1, la puntuación aumenta gradualmente hasta alcanzar su penalización máxima con una correlación de 100.
Específicamente, la puntuación de sesgo potencial tiene una relación de potencia:
\[ C_\text{bias} = 100 \cdot \left(b_\text{max}\right) ^ p, \]
aquí, \(b_\text{max}\) es la correlación absoluta máxima para el canal determinado entre su ejecución y cualquier variable de control en todas las ubicaciones geográficas:
\[ b_\text{max} = \max_{j, g} |\text{corr}_t (E_{g,t,i}, z^{[C]}_{g,t,j}) | \]
donde \(E_{g,t,i}\) es \(x^{[M]}_{g,t,i}\) para los canales de medios pagados o\(r^{[RF]}_{g,t,i} \cdot f^{[RF]}_{g,t,i}\) para los canales de alcance y frecuencia pagados. Aquí, \(p\) es un exponente. \(p=\log(0.5) / \log(T_\text{bias})\)se selecciona de modo que la puntuación de sesgo potencial sea 50 en el umbral de la verificación de sesgo potencial, \(T_\text{bias} = 0.1\).