Report sugli esperimenti

Esistono due modi principali per generare report sugli esperimenti:

  • Report diretto sugli esperimenti: esegui query sulla risorsa experiment per le metriche. Questa opzione fornisce le metriche per i gruppi di controllo e sperimentale in un'unica risposta, insieme ai dati di confronto statistico, come l'incremento e i valori p. Questo è l'unico modo per generare report sugli esperimenti all'interno della campagna.
  • Report sulle campagne: esegui query sulla risorsa campaign per le metriche, utilizzando campaign.experiment_type per distinguere tra le campagne di base e quelle sperimentali. Questa opzione è disponibile solo per gli esperimenti che utilizzano campagne di controllo e sperimentali separate, come gli esperimenti gestiti dal sistema.

Questa guida si concentra principalmente sui report sugli esperimenti diretti, compatibili con tutti i tipi di esperimento che supportano i report.

Report sugli esperimenti diretti

Puoi eseguire query sulla risorsa experiment direttamente per recuperare le metriche di rendimento e i confronti statistici tra i gruppi di controllo e sperimentale.

Metriche e significatività statistica

Per le metriche principali, come clic, impressioni, costo, conversioni e valore di conversione, la risorsa experiment fornisce sia le metriche del gruppo sperimentale (ad esempio, metrics.clicks) sia le metriche di controllo (ad esempio, metrics.control_clicks) nella stessa riga.

Fornisce inoltre campi per aiutarti a valutare la significatività statistica di qualsiasi differenza tra i gruppi:

  • metrics.*_p_value: la probabilità che si verifichino i risultati osservati se l'esperimento non avesse alcun effetto reale sulla metrica. Un valore p più basso indica una significatività statistica maggiore.
  • metrics.*_point_estimate: il lift percentuale stimato (positivo o negativo) nella metrica specificata per il gruppo sperimentale rispetto al gruppo di controllo. Insieme a margin_of_error, descrivono un intervallo di affidabilità con un livello di confidenza prescritto per la differenza stimata. La quantità stimata è (gruppo sperimentale / gruppo di controllo - 1). La stima puntuale è il centro dell'intervallo di confidenza.
  • metrics.*_margin_of_error: il raggio dell'intervallo di affidabilità, centrato su point_estimate. Viene calcolato per un livello di confidenza prescritto, che dipende dal tipo di esperimento.

I seguenti campi delle metriche principali sono supportati nella risorsa experiment, inclusi un valore del gruppo sperimentale, un valore del gruppo di controllo e i campi delle statistiche elencati in precedenza:

  • clicks
  • impressions
  • cost_micros
  • conversions
  • cost_per_conversion
  • conversion_value
  • conversion_value_per_cost

Per le conversioni, in particolare, i campi statistici sono disponibili tramite i seguenti campi absolute_change, anziché come valori relativi:

Per assistenza nella creazione di query valide per la risorsa experiment, utilizza lo strumento Query Builder di Google Ads.

Query di esempio

La seguente query GAQL recupera le metriche chiave per un esperimento:

SELECT
  experiment.experiment_id,
  experiment.name,
  experiment.type,
  metrics.clicks,
  metrics.control_clicks,
  metrics.clicks_point_estimate,
  metrics.clicks_margin_of_error,
  metrics.clicks_p_value,
  metrics.conversions,
  metrics.control_conversions,
  metrics.conversions_absolute_change_point_estimate,
  metrics.conversions_absolute_change_margin_of_error,
  metrics.conversions_absolute_change_p_value
FROM experiment
WHERE experiment.experiment_id = EXPERIMENT_ID

Interpreta i risultati

Puoi utilizzare i campi valore p, stima puntuale e margine di errore per determinare se l'esperimento ha prodotto risultati statisticamente significativi. Ad esempio, se conversions_absolute_change_p_value è inferiore alla soglia scelta (ad esempio 0.05 per una confidenza del 95%) e conversions_absolute_change_point_estimate - conversions_absolute_change_margin_of_error è maggiore di zero, il gruppo sperimentale ha un rendimento significativamente migliore rispetto al gruppo di controllo in termini di conversioni.

Ecco un snippet Python che mostra come valutare i risultati in base al valore p e alle stime dell'incremento:

Java

private void evaluateExperiment(
    GoogleAdsClient googleAdsClient, long customerId, GoogleAdsRow row) {
  Metrics metrics = row.getMetrics();
  String experimentResourceName = row.getExperiment().getResourceName();

  // 1. Evaluate conversion success as a primary success signal if available.
  // - Point Estimate: Represents the estimated average lift or difference in conversions.
  // - Margin of Error: Outlines the confidence interval bounds. Note that the margin_of_error
  //   provided by the API is calculated for a preset confidence level which is set based on the
  //   experiment type.
  // - Lower Bound: (Point Estimate - Margin of Error). If this value is above 0,
  //   we have statistical significance that performance has improved.
  double convPValue = metrics.getConversionsAbsoluteChangePValue();
  double convLift = metrics.getConversionsAbsoluteChangePointEstimate();
  double convError = metrics.getConversionsAbsoluteChangeMarginOfError();
  double convLowerBound = convLift - convError;

  if (convPValue <= P_VALUE_THRESHOLD) {
    if (convLowerBound > 0) {
      System.out.printf(
          "Significant Success: Conversions increased. Even at the lower bound, the lift is %.2f."
              + " Promoting changes.%n",
          convLowerBound);
      promoteExperiment(googleAdsClient, customerId, experimentResourceName);
      return;
    } else if ((convLift + convError) < 0) {
      System.out.printf(
          "Significant Decline: Even the upper bound (%.2f) is below zero. Ending experiment.%n",
          convLift + convError);
      endExperiment(googleAdsClient, customerId, experimentResourceName);
      return;
    }
  }

  // 2. Fall back to evaluating click metrics if conversions are inconclusive.
  double clickPValue = metrics.getClicksPValue();
  double clickLift = metrics.getClicksPointEstimate();
  double clickError = metrics.getClicksMarginOfError();
  double clickLowerBound = clickLift - clickError;

  if (clickPValue <= P_VALUE_THRESHOLD && clickLowerBound > 0) {
    System.out.printf("Click volume is significantly up (+%.1f%%).%n", clickLift * 100);

    // Graduation is only supported for separate campaign experiments, not
    // intra-campaign experiments where there is no separate treatment campaign.
    ExperimentType experimentType = row.getExperiment().getType();
    if (experimentType != ExperimentType.ADOPT_BROAD_MATCH_KEYWORDS
        && experimentType != ExperimentType.ADOPT_AI_MAX) {
      System.out.println("Graduating treatment campaign for further manual analysis.");
      graduateExperiment(googleAdsClient, customerId, experimentResourceName);
    } else {
      System.out.println(
          "Intra-campaign trial detected: graduation is not supported. Continuing to run the"
              + " experiment to gather more conversion data.");
    }
  } else {
    // 3. Print status if no action was taken.
    System.out.printf(
        "Inconclusive: No significant lift in Conversions (p=%.2f) or Clicks (p=%.2f). Current"
            + " estimated lift: %.2f +/- %.2f. Allowing the experiment to continue running.%n",
        convPValue, clickPValue, convLift, convError);
  }
}

      

C#

private static void EvaluateExperiment(GoogleAdsClient client, long customerId, GoogleAdsRow row)
{
    // This function evaluates performance metrics and immediately takes action
    // to update the experiment's status (promote, end, or graduate) if
    // statistical significance thresholds are met.
    var metrics = row.Metrics;
    string experimentResourceName = row.Experiment.ResourceName;

    bool hasConvMetrics = metrics.HasConversionsAbsoluteChangePValue
        && metrics.HasConversionsAbsoluteChangePointEstimate
        && metrics.HasConversionsAbsoluteChangeMarginOfError;

    bool hasClickMetrics = metrics.HasClicksPValue
        && metrics.HasClicksPointEstimate
        && metrics.HasClicksMarginOfError;

    // 1. Evaluate conversion success as a primary success signal if available.
    // - Point Estimate: Represents the estimated average lift or difference in conversions.
    // - Margin of Error: Outlines the confidence interval bounds. Note that the margin_of_error
    //   provided by the API is calculated for a preset confidence level which is set based on
    //   the experiment type.
    // - Lower Bound: (Point Estimate - Margin of Error). If this value is above 0,
    //   we have statistical significance that performance has improved.
    if (hasConvMetrics)
    {
        double convPValue = metrics.ConversionsAbsoluteChangePValue;
        double convLift = metrics.ConversionsAbsoluteChangePointEstimate;
        double convError = metrics.ConversionsAbsoluteChangeMarginOfError;
        double convLowerBound = convLift - convError;

        if (convPValue <= P_VALUE_THRESHOLD)
        {
            if (convLowerBound > 0)
            {
                Console.WriteLine(
                    $"Significant Success: Conversions increased. Even at the lower" +
                    $" bound, the lift is {convLowerBound:F2}. Promoting changes.");
                PromoteExperiment(client, customerId, experimentResourceName);
                return;
            }
            else if ((convLift + convError) < 0)
            {
                Console.WriteLine(
                    $"Significant Decline: Even the upper bound ({convLift + convError:F2}) " +
                    $"is below zero. Ending experiment.");
                EndExperiment(client, customerId, experimentResourceName);
                return;
            }
        }
    }

    // 2. Evaluate click volume as a secondary signal.
    // This is helpful as an early indicator or for lower-volume accounts.
    if (hasClickMetrics)
    {
        double clickPValue = metrics.ClicksPValue;
        double clickLift = metrics.ClicksPointEstimate;
        double clickError = metrics.ClicksMarginOfError;
        double clickLowerBound = clickLift - clickError;

        if (clickPValue <= P_VALUE_THRESHOLD && clickLowerBound > 0)
        {
            // We have a directional winner: high confidence in more traffic,
            // but not enough data to confirm conversion impact yet.
            Console.WriteLine(
                $"Click volume is significantly up (+{clickLift * 100:F1}%).");

            // Graduation is only supported for separate campaign experiments, not
            // intra-campaign experiments where there is no separate treatment campaign.
            if (row.Experiment.Type != ExperimentType.AdoptBroadMatchKeywords
                && row.Experiment.Type != ExperimentType.AdoptAiMax)
            {
                Console.WriteLine("Graduating treatment campaign for further manual analysis.");
                GraduateExperiment(client, customerId, experimentResourceName);
            }
            else
            {
                Console.WriteLine(
                    "Intra-campaign trial detected: graduation is not supported. " +
                    "Continuing to run the experiment to gather more conversion data.");
            }
            return;
        }
    }

    // 3. Print status if no action was taken.
    if (hasConvMetrics || hasClickMetrics)
    {
        string convStatus = hasConvMetrics
            ? $"Conversions (p={metrics.ConversionsAbsoluteChangePValue:F2}, " +
              $"lift={metrics.ConversionsAbsoluteChangePointEstimate:F2} +/- " +
              $"{metrics.ConversionsAbsoluteChangeMarginOfError:F2})"
            : "Conversions (not populated)";

        string clickStatus = hasClickMetrics
            ? $"Clicks (p={metrics.ClicksPValue:F2}, " +
              $"lift={metrics.ClicksPointEstimate:F2} +/- " +
              $"{metrics.ClicksMarginOfError:F2})"
            : "Clicks (not populated)";

        Console.WriteLine(
            $"Inconclusive: No significant action taken. {convStatus}, {clickStatus}. " +
            "Allowing the experiment to continue running.");
    }
    else
    {
        Console.WriteLine(
            "Conversion and click performance metrics are not yet populated. " +
            "Allowing the experiment to continue running.");
    }
}
      

PHP

This example is not yet available in PHP; you can take a look at the other languages.
    

Python

def evaluate_experiment(
    client: GoogleAdsClient, customer_id: str, row: GoogleAdsRow
) -> None:
    """Evaluates the performance of the experiment and updates it accordingly
    (for example, promotes, ends, or graduates).

    Checks conversion and click metrics against statistical significance thresholds
    to determine the appropriate action to take on the experiment.

    Args:
        client: an initialized GoogleAdsClient instance.
        customer_id: a client customer ID.
        row: a GoogleAdsRow containing the experiment and metrics.
    """
    # This function evaluates performance metrics and immediately takes action
    # to update the experiment's status (promote, end, or graduate) if
    # statistical significance thresholds are met.
    metrics = row.metrics
    experiment_resource_name = row.experiment.resource_name

    has_conv_metrics = (
        "conversions_absolute_change_p_value" in metrics
        and "conversions_absolute_change_point_estimate" in metrics
        and "conversions_absolute_change_margin_of_error" in metrics
    )
    has_click_metrics = (
        "clicks_p_value" in metrics
        and "clicks_point_estimate" in metrics
        and "clicks_margin_of_error" in metrics
    )

    # 1. Evaluate conversion success as a primary success signal if available.
    # - Point Estimate: Represents the estimated average lift or difference in conversions.
    # - Margin of Error: Outlines the confidence interval bounds. Note that the margin_of_error provided by the API is calculated for a preset confidence level which is set based on the experiment type.
    # - Lower Bound: (Point Estimate - Margin of Error). If this value is above 0,
    #   we have statistical significance that performance has improved.
    if has_conv_metrics:
        conv_p_value = metrics.conversions_absolute_change_p_value
        conv_lift = metrics.conversions_absolute_change_point_estimate
        conv_error = metrics.conversions_absolute_change_margin_of_error
        conv_lower_bound = conv_lift - conv_error

        if conv_p_value <= P_VALUE_THRESHOLD:
            if conv_lower_bound > 0:
                print(
                    "Significant Success: Conversions increased. Even at the lower"
                    f" bound, the lift is {conv_lower_bound:.2f}. Promoting"
                    " changes."
                )
                promote_experiment(
                    client, customer_id, experiment_resource_name
                )
                return
            elif (conv_lift + conv_error) < 0:
                print(
                    "Significant Decline: Even the upper bound"
                    f" ({conv_lift + conv_error:.2f}) is below zero. Ending"
                    " experiment."
                )
                end_experiment(client, customer_id, experiment_resource_name)
                return

        # 2. Evaluate click volume as a secondary signal.
        # This is helpful as an early indicator or for lower-volume accounts.
        click_p_value = metrics.clicks_p_value
        click_lift = metrics.clicks_point_estimate
        click_error = metrics.clicks_margin_of_error
        click_lower_bound = click_lift - click_error

        if click_p_value <= P_VALUE_THRESHOLD and click_lower_bound > 0:
            # We have a directional winner: high confidence in more traffic,
            # but not enough data to confirm conversion impact yet.
            print(f"Click volume is significantly up (+{click_lift*100:.1f}%).")

            # Graduation is only supported for separate campaign experiments, not
            # intra-campaign experiments where there is no separate treatment campaign.
            experiment_type_name = row.experiment.type_.name
            if (
                experiment_type_name != "ADOPT_BROAD_MATCH_KEYWORDS"
                and experiment_type_name != "ADOPT_AI_MAX"
            ):
                print(
                    "Graduating treatment campaign for further manual analysis."
                )
                graduate_experiment(
                    client, customer_id, experiment_resource_name
                )
            else:
                print(
                    "Intra-campaign trial detected: graduation is not supported. "
                    "Continuing to run the experiment to gather more conversion data."
                )
            return

    # 3. Print status if no action was taken.
    if has_conv_metrics or has_click_metrics:
        conv_status = (
            f"Conversions (p={metrics.conversions_absolute_change_p_value:.2f}, "
            f"lift={metrics.conversions_absolute_change_point_estimate:.2f} +/- "
            f"{metrics.conversions_absolute_change_margin_of_error:.2f})"
            if has_conv_metrics
            else "Conversions (not populated)"
        )
        click_status = (
            f"Clicks (p={metrics.clicks_p_value:.2f}, "
            f"lift={metrics.clicks_point_estimate:.2f} +/- "
            f"{metrics.clicks_margin_of_error:.2f})"
            if has_click_metrics
            else "Clicks (not populated)"
        )
        print(
            f"Inconclusive: No significant action taken. {conv_status}, {click_status}."
            " Allowing the experiment to continue running."
        )
    else:
        print(
            "Conversion and click performance metrics are not yet populated. "
            "Allowing the experiment to continue running."
        )
      

Ruby

This example is not yet available in Ruby; you can take a look at the other languages.
    

Perl

This example is not yet available in Perl; you can take a look at the other languages.
    

curl

Vantaggi rispetto ai report sulle campagne

I report sugli esperimenti diretti offrono diversi vantaggi rispetto all'esecuzione di query separate sui report delle campagne:

  1. Metriche centralizzate: recupera le metriche per il gruppo di controllo e quello sperimentale in una singola riga.
  2. Dati di confidenza statistica: fornisce valori p calcolati, stime puntuali e margini di errore.
  3. Efficienza: elimina la necessità di unire o confrontare manualmente i risultati di più report.
  4. Supporto all'interno della campagna: è l'unico modo per confrontare il gruppo di controllo con il gruppo sperimentale per gli esperimenti all'interno della campagna, in cui il traffico viene suddiviso all'interno di una singola campagna.

Generazione di report sulla campagna

Per gli esperimenti che creano campagne sperimentali separate (ad esempio, SEARCH_CUSTOM), puoi eseguire query sulla risorsa campaign e utilizzare campaign.experiment_type per identificare le campagne BASE (di controllo) e EXPERIMENT (sperimentali). Questo approccio è utile se devi segmentare le metriche a un livello più granulare (ad esempio per gruppo di annunci o parola chiave) o visualizzare i metadati della campagna non disponibili nella risorsa experiment. Tuttavia, richiede di eseguire manualmente confronti del rendimento e calcoli statistici.

Non puoi utilizzare i report a livello di campagna per confrontare i gruppi per gli esperimenti all'interno della campagna, poiché la suddivisione del traffico avviene internamente a una singola campagna. L'interrogazione di campaign per un esperimento all'interno di una campagna restituisce solo i totali aggregati.

Report sul brand lift

Puoi generare report sugli studi sul brand lift nell'API Google Ads utilizzando risorse di misurazione del brand lift dedicate.

Risorse e visualizzazioni della suddivisione del brand lift

Esegui query sulla risorsa LiftMeasurementFlight per recuperare i risultati dello studio sul brand lift a livello di volo, inclusi gli intervalli di date dei voli (start_date e end_date) nel fuso orario del cliente.

Per analizzare le metriche del brand lift in base a diverse dimensioni dei segmenti, esegui una query sulle risorse di suddivisione corrispondenti:

L'enumerazione BrandLiftMeasurementType specifica il tipo di misurazione per lo studio, ad esempio la brand awareness o il ricordo dell'annuncio.

Esempi di query sull'impatto del brand

Poiché i metadati dei voli e le statistiche sugli ascensori si trovano su risorse separate, l'interrogazione dei dettagli dei voli e delle statistiche sul rendimento richiede query GAQL separate.

Query sui dettagli del volo

Per recuperare i metadati di una campagna brand lift, ad esempio lo stato, il tipo di misurazione e le date pianificate, esegui una query sulla risorsa LiftMeasurementFlight:

SELECT
  lift_measurement_flight.lift_measurement_config_id,
  lift_measurement_flight.lift_measurement_flight_id,
  lift_measurement_flight.name,
  lift_measurement_flight.status,
  lift_measurement_flight.lift_type,
  lift_measurement_flight.start_date,
  lift_measurement_flight.end_date
FROM lift_measurement_flight
WHERE lift_measurement_flight.lift_measurement_config_id = CONFIG_ID

Query statistiche

Per recuperare le metriche del brand lift, esegui una query sulla risorsa di suddivisione appropriata (o sulla configurazione di studio complessiva su LiftMeasurementConfig). Ad esempio, la seguente query recupera le metriche del brand lift suddivise per campagna da LiftMeasurementCampaign:

SELECT
  lift_measurement_campaign.lift_measurement_config_id,
  lift_measurement_campaign.campaign,
  metrics.absolute_brand_lift,
  metrics.relative_brand_lift
FROM lift_measurement_campaign
WHERE lift_measurement_campaign.lift_measurement_config_id = CONFIG_ID

Report sul conversion lift

Puoi misurare l'impatto incrementale dei tuoi annunci sulle conversioni utilizzando i report sull'impatto sulle conversioni nell'API Google Ads.

Configurazione e metriche del conversion lift

Esegui query sulla risorsa LiftMeasurementConfig per recuperare le configurazioni dello studio sul conversion lift e i dati sul rendimento.

La risorsa fornisce metriche del conversion lift per valutare le prestazioni incrementali:

I report sul conversion lift consentono anche la segmentazione in base alle azioni di conversione e il recupero dei dettagli delle campagne collegate, dei dettagli degli esperimenti e degli obiettivi di conversione.

Query di esempio sul conversion lift

La seguente query GAQL recupera le configurazioni di Incremento delle conversioni e le metriche sul rendimento principali:

SELECT
  lift_measurement_config.lift_measurement_config_id,
  segments.conversion_lift_start_date,
  segments.conversion_lift_end_date,
  segments.conversion_lift_included_conversion_action_types,
  metrics.conversion_lift_baseline_conversions,
  metrics.conversion_lift_exposed_conversions,
  metrics.incremental_conversions,
  metrics.cost_per_incremental_conversion,
  metrics.relative_conversion_lift,
  metrics.incremental_conversion_value,
  metrics.relative_conversion_value_lift
FROM lift_measurement_config
WHERE segments.conversion_lift_start_date = 'YYYY-MM-DD'
  AND segments.conversion_lift_end_date = 'YYYY-MM-DD'
  AND lift_measurement_config.lift_measurement_config_id = CONFIG_ID

Best practice

  • Seleziona un livello di confidenza appropriato: l'impostazione di una soglia del valore p inferiore può fornire indicazioni direzionali più rapidamente, soprattutto con budget o volumi di conversione inferiori. Una confidenza del 95% (valore p <= 0,05) è considerata lo standard accademico e potrebbe essere più adatta per risultati più accurati in un periodo di tempo più lungo.
  • Esegui gli esperimenti per un periodo di tempo sufficiente: esegui gli esperimenti per almeno 4 settimane per tenere conto dei cicli di rendimento settimanali, dei ritardi nella conversione e dei periodi di apprendimento.
  • Lascia il tempo per l'applicazione: per le campagne che utilizzano l'offerta automatica o testano nuove funzionalità, ignora i dati delle prime 1-2 settimane per consentire ai modelli di offerta e ai livelli di traffico di ricalibrarsi in base alla suddivisione.
  • Utilizza suddivisioni 50/50: una suddivisione del traffico 50/50 è in genere il modo più rapido per ottenere risultati statisticamente significativi.
  • Pianifica in anticipo: imposta la data di inizio dell'esperimento 3-7 giorni prima per dare il tempo di eseguire le procedure di revisione e approvazione degli annunci.