通过了解 MDE 要求，排查设计输出问题。本指南可帮助您对照历史数据验证设计指标，并在结果未达到衡量目标时调整研究参数。
深入了解最低可检测效果 (MDE)
每个设计的输出都会提供最低可检测效果 (MDE)。MDE 表示实验在统计学上能够衡量的最小提升百分比。为了确保测试具有足够的统计检验力，您应当确保 MDE 低于您预期广告系列能带来的实际提升效果。实际应用中的一个常见陷阱是，在设计和运行 Meridian GeoX 实验时设置了过大的 MDE。如果您不确定广告系列的预期效果，建议您采取保守策略，选择较小的 MDE。这能确保实验具有足够的灵敏度，即使是细微的变化也能检测到。
当您在“停投”或“增投”测试选项下对现有广告系列进行测试时，如果您的历史增量研究具有类似的设置，或者您可以获取针对各营销细分市场的营销组合模型 (MMM)，则可以借此验证所选的 MDE 是否切合实际。为此，您可以将“设计隐含 CpIC”与“估计的 CpIC”进行比较。
为简化此比较，请参考以下三个核心指标（如下图所示）；这些指标表明，您的媒体支出和转化成效遵循凹形广告回报曲线：
- 每次转化费用 (CPA)：您的标准每次转化费用，等于支出 ($S$) / 转化次数 ($C$)。请注意，此处的总转化次数包括增量转化次数和非增量转化次数。例如，没有任何付费媒体参与的自然转化事件。
- 弹性：等于图表中的 \(\frac{\Delta C / C}{\Delta S / S}\) 。它衡量的是转化对支出变化的敏感程度，可根据历史研究或 MMM 推断得出。
- 对于 $\Delta S = -100\% * S$ 的“停投”研究，弹性实质上等同于 $-\Delta C / C$，即研究的预期相对升幅。
- 每次增量转化费用 (CpIC)：等于 $\Delta S / \Delta C$。它表示由营销干预引起增量支出变化，进而产生的每次增量转化的实际成本。
精心设计的测试可确保设计隐含 CpIC（计算方式为预算除以所需的最低增量转化次数）与您的理论 CpIC（计算方式为 CPA 除以弹性）保持一致。理想情况下，设计隐含 CpIC 不应低于估计的 CpIC，以确保测试具有足够的统计检验力。
提取所选单组实验设计的设计隐含 CpIC：
select_design = single_cell_design_set.designs[single_cell_selected_design_id]
select_design.designs['cell_1'].design_implied_cpic
了解预算、MDE 和设计隐含 CpIC 之间的关系
一个常见的困惑点是，调整预算会如何影响测试的灵敏度。
- MDE 与预算无关：统计学意义上的 MDE（即实验能检测到的转化次数最小百分比变化）完全取决于历史波动性和地理区域匹配情况。仅更改
Constraints中的预算不会改变这一统计限制。 - 预算决定了设计隐含 CpIC：虽然 MDE（所需的提升百分比）保持不变，但设计隐含 CpIC 会随预算成比例变化：
- 较高预算：会导致设计隐含 CpIC 较高（效率较低）。对于表现平平的广告系列，这会提高测试得出明确结论的可能性。
- 较低预算：会将设计限制在极低（高效）的设计隐含 CpIC。如果广告系列的实际表现一般而非高效，测试可能无法得出结论。
当没有设计输出符合您的衡量目标时
即使经过设计优化，在表现最出色的候选方案中，最低 MDE 可能对于您的实际情况而言仍然过大。通常，这表示根据您指定的研究设置和 KPI 数据中的固有噪声水平，您的测试广告系列预算不足，无法为 GeoX 提供足够的统计支持。首先，您应当在 geox.Constraints() 中明确调高预算形参。随后，在调高实验预算后，您可能需要通过以下两种方式之一来调整研究设置：
- 您可以选择通过更改
geox.DesignConfig()中的experiment_duration来延长研究时长。 - 您可以选择保持现有时长，但调高
geox.Constraints()中的形参max_conversions_percent，这意味着受干预影响的地理区域所占百分比会更高。
无论采用哪种方法，您都可以通过更新研究设置，力求获得更高数量的增量转化。您还可以考虑在测试设计中纳入其他较浅层的转化目标（例如网页浏览量或加入购物车的次数），前提是这些浅层转化同样会受到广告系列的影响。这能提供更大量的数据，从而有助于降低 MDE。
直接增加广告系列的每日预算也是一种选择，但不建议在实验过程中直接调高预算，因为这会破坏“对照组地理区域应始终保持常规业务 (BAU) 状态”这一前提假设。如果您的实际情况需要增加广告系列预算，建议您先调高预算，等到在新 BAU 下积累了足够的测试前设计数据后，再运行新的研究设计并开展实际的 GeoX 实验。
针对季节性高峰优化实验
在季节性高峰期（例如第 4 季度节假日或重大促销活动）运行 GeoX 会面临诸多挑战，例如高波动性和商业限制（例如，无法关闭媒体投放的“不可触碰”时段）。以下是关于如何针对这些时期构建研究方案的指南。
应对“不可触碰”的高峰期或商业限制
如果您的业务无法在销售旺季期间停止关键市场的广告投放（即“停投”）：
- 采用“增投”策略，而不是“停投”策略：
- 与其测试支出与零支出（即“停投”）的价值，不如测试额外支出的边际影响。
- 对照组地理区域维持原定的基准预算 (BAU)，并进一步增加实验组地理区域的支出（例如，增加 20% 至 50%）。这能让您在把握所有市场需求高峰的同时，依然可以衡量额外投入所带来的增量提升效果。
- 使用部分“停投”策略，最大限度降低风险：
- “部分停投”测试有时也称为“减投”测试，它通过部分减少支出（例如，在实验组地理区域减少 20% 的支出）来测试边际效率，即最后一笔或最高一笔支出的投资回报率。这能在高峰期最大限度地降低收入风险，同时仍能衡量该特定预算部分的增量贡献。请注意，这不会衡量总基准效率，后者会通过全面“停投”测试来对比 BAU 支出与零支出的差异。
在季节性高峰期管理测试前后的窗口期
进入和退出季节性高峰期的过渡阶段，通常表现为用户行为和平台出价动态的快速变化。为确保模型稳定性，请采取以下措施：
- 避免在高峰期切换测试状态：尽量确保测试的开始和结束日期不要选在剧烈的过渡期（例如，在“黑色星期五”的前一天开始测试）。当实验组和对照组地理区域之间的关系保持一致时，模型的稳定性最高。
- 尽早开始测试：在季节性过渡开始前的几周，就先行实施预算拆分（无论是“停投”还是“增投”）。这样，广告平台的出价算法就有时间在流量高峰到来之前，针对新的地理区域预算进行调整并趋于稳定。
- 延后结束测试：让测试贯穿整个高峰期，仅在高峰流量回落并稳定回到正常水平后，才切换回 BAU。
- 延长用于进行验证的测试前数据时间跨度：对于季节性很强的业务，最低要求的 \( 3N \) 测试前数据通常并不充分。请准备至少一年的历史数据来验证您的设计。
- 根据历史高峰期验证设计（安慰剂测试）：
- 在执行测试之前，请使用上一年同一季节性高峰期的历史数据作为验证期，运行设计搜索。
- 确保候选设计通过 A/A 安慰剂测试（p 值\( \ge \alpha \)），并在该历史高峰期保持良好的拟合度 (\( R^2 \ge 0.8 \))。如果未能通过，则说明在流量高峰期，地理区域之间的关系会变得不稳定，您应避免在高峰期进行测试。