Отчет об экспериментах

Существует два основных способа составления отчетов об экспериментах:

  • Прямое предоставление отчетов по эксперименту : Запрос к ресурсу experiment для получения метрик. Этот вариант предоставляет метрики для контрольной и экспериментальной групп в одном ответе, а также данные статистического сравнения, такие как прирост и p-значения. Это единственный способ сообщить о результатах экспериментов, проводимых в рамках кампании .
  • Отчеты по кампаниям : Запрос метрик к ресурсу campaign с использованием параметра campaign.experiment_type для различения базовой и экспериментальной кампаний. Эта опция доступна только для экспериментов, в которых используются отдельные контрольные и экспериментальные кампании, например, для экспериментов, управляемых системой .

Данное руководство в первую очередь посвящено непосредственному составлению отчетов по результатам экспериментов, что совместимо со всеми типами экспериментов, поддерживающими отчетность.

Непосредственное представление результатов эксперимента

Вы можете напрямую запрашивать данные experiment , чтобы получить показатели производительности и статистические сравнения между контрольной и экспериментальной группами.

Показатели и статистическая значимость

Для основных показателей, таких как клики, показы, стоимость, конверсии и ценность конверсии, ресурс experiment предоставляет как показатели экспериментальной группы (например, metrics.clicks ), так и показатели контрольной группы (например, metrics.control_clicks ) в одной строке.

Также имеются поля, которые помогут оценить статистическую значимость любых различий между группами:

  • metrics.*_p_value : Вероятность того, что наблюдаемые результаты произошли бы, если бы эксперимент фактически не оказал никакого влияния на показатель. Более низкое значение p указывает на более высокую статистическую значимость.
  • metrics.*_point_estimate : Оценочный процентный прирост (положительный или отрицательный) по данной метрике для экспериментальной группы по сравнению с контрольной группой. Вместе с margin_of_error они описывают доверительный интервал с заданным уровнем доверия для оцениваемой разницы. Оцениваемая величина — (экспериментальная группа / контрольная группа - 1). Точечная оценка — это центр доверительного интервала.
  • metrics.*_margin_of_error : Радиус доверительного интервала, центрированного в точке point_estimate . Он рассчитывается для заданного уровня доверия, который зависит от типа эксперимента.

В ресурсе experiment поддерживаются следующие основные поля метрик, включая значение для экспериментальной группы, значение для контрольной группы и перечисленные ранее статистические поля:

  • clicks
  • impressions
  • cost_micros
  • conversions
  • cost_per_conversion
  • conversion_value
  • conversion_value_per_cost

В частности, для преобразований статистические поля доступны через следующие поля absolute_change , а не в виде относительных значений:

Для получения помощи в составлении корректных запросов к experiment ресурсу используйте инструмент Google Ads Query Builder .

Пример запроса

Следующий GAQL-запрос извлекает ключевые метрики для эксперимента:

SELECT
  experiment.experiment_id,
  experiment.name,
  experiment.type,
  metrics.clicks,
  metrics.control_clicks,
  metrics.clicks_point_estimate,
  metrics.clicks_margin_of_error,
  metrics.clicks_p_value,
  metrics.conversions,
  metrics.control_conversions,
  metrics.conversions_absolute_change_point_estimate,
  metrics.conversions_absolute_change_margin_of_error,
  metrics.conversions_absolute_change_p_value
FROM experiment
WHERE experiment.experiment_id = EXPERIMENT_ID

Интерпретация результатов

Для определения статистически значимых результатов эксперимента можно использовать поля p-значения, точечной оценки и погрешности. Например, если значение p-значения для conversions_absolute_change_p_value ниже выбранного вами порога (например, 0,05 для 95% доверительного интервала), а разница между значением p- conversions_absolute_change_point_estimate и conversions_absolute_change_margin_of_error больше нуля, это указывает на то, что экспериментальная группа показывает значительно лучшие результаты по конверсиям, чем контрольная.

Вот фрагмент кода на Python, демонстрирующий, как оценивать результаты на основе p-значения и оценок коэффициента подъема:

Java 

This example is not yet available in Java; you can take a look at the other languages.

C# 

This example is not yet available in C#; you can take a look at the other languages.

PHP 

This example is not yet available in PHP; you can take a look at the other languages.

Python 

def evaluate_experiment(
    client: GoogleAdsClient, customer_id: str, row: GoogleAdsRow
) -> None:
    """Evaluates the performance of the experiment.

    Args:
        client: an initialized GoogleAdsClient instance.
        customer_id: a client customer ID.
        row: a GoogleAdsRow containing the experiment arm and metrics.
    """
    metrics = row.metrics
    experiment_resource_name = row.experiment.resource_name

    # 1. Evaluate conversion success as a primary success signal.
    # - Point Estimate: Represents the estimated average lift or difference in conversions.
    # - Margin of Error: Outlines the confidence interval bounds. Note that the margin_of_error provided by the API is calculated for a preset confidence level which is set based on the experiment type.
    # - Lower Bound: (Point Estimate - Margin of Error). If this value is above 0,
    #   we have statistical significance that performance has improved.
    conv_p_value = metrics.conversions_absolute_change_p_value
    conv_lift = metrics.conversions_absolute_change_point_estimate
    conv_error = metrics.conversions_absolute_change_margin_of_error
    conv_lower_bound = conv_lift - conv_error

    if conv_p_value <= P_VALUE_THRESHOLD:
        if conv_lower_bound > 0:
            print(
                "Significant Success: Conversions increased. Even at the lower"
                f" bound, the lift is {conv_lower_bound:.2f}. Promoting"
                " changes."
            )
            promote_experiment(client, customer_id, experiment_resource_name)
            return
        elif (conv_lift + conv_error) < 0:
            print(
                "Significant Decline: Even the upper bound"
                f" ({conv_lift + conv_error:.2f}) is below zero. Ending"
                " experiment."
            )
            end_experiment(client, customer_id, experiment_resource_name)
            return

    # 2. Evaluate click volume as a secondary signal.
    # This is helpful as an early indicator or for lower-volume accounts.
    click_p_value = metrics.clicks_p_value
    click_lift = metrics.clicks_point_estimate
    click_error = metrics.clicks_margin_of_error
    click_lower_bound = click_lift - click_error

    if click_p_value <= P_VALUE_THRESHOLD and click_lower_bound > 0:
        # We have a directional winner: high confidence in more traffic,
        # but not enough data to confirm conversion impact yet.
        print(
            f"Click volume is significantly up (+{click_lift*100:.1f}%). "
            "Graduating treatment for further manual analysis."
        )

        # Graduate if it's a separate campaign test.
        # This keeps the high-volume treatment running independently.
        # Intra-campaign experiments (like ADOPT_BROAD_MATCH_KEYWORDS and
        # ADOPT_AI_MAX) run directly within the base campaign, meaning there is only
        # a single campaign involved and no separate treatment campaign to graduate.
        # Therefore, graduation is not supported for intra-campaign experiments.
        experiment_type_name = row.experiment.type_.name
        if (
            experiment_type_name != "ADOPT_BROAD_MATCH_KEYWORDS"
            and experiment_type_name != "ADOPT_AI_MAX"
        ):
            graduate_experiment(client, customer_id, experiment_resource_name)
        else:
            print(
                "Intra-campaign trial detected: Graduation is not supported"
                " because there is only one campaign. Continuing to run to"
                " gather more conversion data."
            )
    else:
        # Both conversions and clicks are noisy.
        print(
            "Inconclusive: No significant lift in Conversions"
            f" (p={conv_p_value:.2f}) or Clicks (p={click_p_value:.2f})."
            f" Current estimated lift: {conv_lift:.2f} +/- {conv_error:.2f}."
            " Continue running."
        )

Руби 

This example is not yet available in Ruby; you can take a look at the other languages.

Perl 

This example is not yet available in Perl; you can take a look at the other languages.

локон

Преимущества по сравнению с отчетностью по итогам кампании.

Прямое формирование отчетов по экспериментам имеет ряд преимуществ по сравнению с запросом отчетов по кампаниям по отдельности:

  1. Централизованные метрики : Получение метрик для контрольной и экспериментальной групп в одной строке.
  2. Данные о статистической достоверности : содержат рассчитанные значения p, точечные оценки и погрешности.
  3. Эффективность : Устраняет необходимость вручную объединять или сравнивать результаты из нескольких отчетов.
  4. Поддержка внутри кампании : это единственный способ сравнить контрольную и экспериментальную группы в рамках экспериментов внутри кампании, когда трафик разделяется внутри одной кампании.

Отчеты о ходе кампании

Для экспериментов, создающих отдельные кампании для обработки (например, SEARCH_CUSTOM ), вы можете запросить ресурс campaign и использовать campaign.experiment_type для идентификации BASE (контрольных) и EXPERIMENT (экспериментальных) кампаний. Этот подход полезен, если вам необходимо сегментировать метрики на более детальном уровне (например, по группе объявлений или ключевому слову) или просмотреть метаданные кампании, недоступные в ресурсе experiment . Однако он требует ручного выполнения сравнений производительности и статистических расчетов.

Для сравнения вариантов внутрикампанийных экспериментов нельзя использовать отчеты на уровне кампании, поскольку разделение трафика происходит внутри одной кампании. Запрос campaign для внутрикампанийного эксперимента возвращает только агрегированные итоги.

Передовые методы

  • Выберите подходящий уровень доверия : установка более низкого порогового значения p-значения может быстрее дать ориентиры, особенно при небольших бюджетах или объемах конверсии. 95%-ный уровень доверия (p-значение <= 0,05) считается академическим стандартом и может быть предпочтительнее для получения более точных результатов в течение более длительного периода времени.
  • Проводите эксперименты достаточно долго : проводите эксперименты как минимум 4 недели, чтобы учесть еженедельные циклы производительности, задержки конверсии и периоды обучения.
  • Дайте время на адаптацию : для кампаний с автоматическим назначением ставок или тестированием новых функций игнорируйте данные за первые 1-2 недели, чтобы дать время моделям назначения ставок и уровням трафика перенастроиться в соответствии с распределением трафика.
  • Используйте разделение трафика 50/50 : как правило, это самый быстрый способ добиться статистически значимых результатов.
  • Заранее спланируйте : установите дату начала эксперимента на 3-7 дней вперед, чтобы учесть время на проверку и утверждение рекламы.
  • В рамках одной кампании можно проводить только один эксперимент за раз.
Назад
Эксперименты по оптимизации активов
Далее
Асинхронные ошибки