Практическая работа по логистической регрессии

1. Введение

В этом практическом занятии вы научитесь использовать логистическую регрессию для понимания того, в какой степени такие характеристики, как пол, возрастная группа, время показа и тип браузера, коррелируют с вероятностью клика пользователя на объявление.

Предварительные требования

Для выполнения этого практического задания вам потребуется достаточное количество высококачественных данных о кампании для создания модели.

2. Выберите кампанию

Для начала выберите старую кампанию, содержащую большое количество высококачественных данных. Если вы не знаете, какая кампания, скорее всего, содержит лучшие данные, выполните следующий запрос к данным за самый старый полный месяц, к которому у вас есть доступ:

SELECT
  campaign_id,
  COUNT(DISTINCT user_id) AS user_count,
  COUNT(*) AS impression_count
FROM adh.google_ads_impressions

ORDER BY user_count DESC;

Выбор более старых данных позволяет обучать и тестировать модель на данных, которые вскоре будут удалены из Ads Data Hub. Если вы столкнетесь с ограничениями на обучение модели на этих данных, эти ограничения будут сняты после удаления данных.

Если ваша кампания особенно активна, данных за неделю может быть достаточно. Наконец, количество уникальных пользователей должно составлять 100 000 или более, особенно если вы используете множество признаков для обучения модели.

3. Создайте временную таблицу.

После того, как вы определили кампанию, которую будете использовать для обучения модели, выполните приведенный ниже запрос.

CREATE TABLE
 binary_logistic_regression_example_data
AS(
 WITH all_data AS (
   SELECT
     imp.user_id as user_id,
     ROW_NUMBER() OVER(PARTITION BY imp.user_id) AS rowIdx,
     imp.browser as browser_name,
     gender_name as gender_name,
     age_group_name as age_group_name,
     DATETIME(TIMESTAMP_MICROS(
       imp.query_id.time_usec), "America/Los_Angeles") as impression_time,
     CASE # Binary classification of clicks simplifies model weight interpretation
        WHEN clk.click_id.time_usec IS NULL THEN 0
        ELSE 1
     END AS label
   FROM adh.google_ads_impressions imp
     LEFT JOIN adh.google_ads_creative_conversions clk USING (impression_id)
     LEFT JOIN adh.gender ON demographics.gender = gender_id
     LEFT JOIN adh.age_group ON demographics.age_group = age_group_id
   WHERE
     campaign_id IN (YOUR_CID_HERE)
 )
 SELECT
   label,
   browser_name,
   gender_name,
   age_group_name,
   # Although BQML could divide impression_time into several useful variables on
   # its own, it may attempt to divide it into too many features. As a best
   # practice extract the variables that you think will be most helpful.
   # The output of impression_time is a number, but we care about it as a
   # category, so we cast it to a string.
   CAST(EXTRACT(DAYOFWEEK FROM impression_time) AS STRING) AS day_of_week,
   # Comment out the previous line if training on a single week of data
   CAST(EXTRACT(HOUR FROM impression_time) AS STRING) AS hour,
 FROM
   all_data
 WHERE
   rowIdx = 1 # This ensures that there's only 1 row per user.
   AND
   gender_name IS NOT NULL
   AND
   age_group_name IS NOT NULL
);

4. Создайте и обучите модель.

Рекомендуется разделять этапы создания таблиц и этапы создания моделей.

Выполните следующий запрос к временной таблице, созданной на предыдущем шаге. Не беспокойтесь о предоставлении дат начала и окончания, поскольку они будут определены на основе данных во временной таблице.

CREATE OR REPLACE
MODEL `binary_logistic_example`
OPTIONS(
   model_type = 'adh_logistic_regression'
)
AS (
   SELECT *
   FROM
       tmp.binary_logistic_regression_example_data
);

SELECT * FROM ML.EVALUATE(MODEL `binary_logistic_example`)

5. Интерпретация результатов

После завершения выполнения запроса вы получите таблицу, похожую на приведенную ниже. Результаты вашей кампании будут отличаться.

Ряд

точность

отзывать

точность

f1_score

log_loss

roc_auc

1

0.53083894341399718

0.28427804486705865

0.54530547622568992

0.370267971696336

0.68728232223722974

0.55236263736263735

Проверьте вес

Выполните следующий запрос, чтобы посмотреть на веса и увидеть, какие признаки влияют на вероятность предсказания клика вашей моделью:

SELECT * FROM ML.WEIGHTS(MODEL `binary_logistic_example`)

Запрос выдаст результаты, аналогичные приведенным ниже. Обратите внимание, что BigQuery отсортирует заданные метки и выберет «наименьшее» значение равным 0, а наибольшее — 1. В этом примере clicked равно 0, а not_clicked — 1. Таким образом, большие значения весов следует интерпретировать как указание на то, что данная функция снижает вероятность кликов. Кроме того, день 1 соответствует воскресенью.

обработанный_вход

масса

category_weights.category

category_weights.weight

1

ПЕРЕХВАТЫВАТЬ

-0.0067900886484743364

2

имя_браузера

нулевой

неизвестно 0.78205563068099249

Opera 0.097073700069504443

Дальвик -0.75233190448454246

Edge 0.026672464688442348

Шелк -0.72539916969348706

Другое -0.10317444840919325

Браузер Samsung 0.49861066525009368

Яндекс 1.3322608977581121

IE -0.44170947381475295

Firefox -0.10372609461557714

Chrome 0.069115931084794066

Safari 0.10931362123676475

3

день_недели

нулевой

7 0.051780350639992277

6 -0.098905011477176716

4 -0.092395178188358462

5 -0.010693625983554155

3 -0.047629987110766638

1 -0.0067030673140933122

2 0.061739400111810727

4

час

нулевой

15 -0.12081420778273

16 -0.14670467657779182

1 0.036118460001355934

10 -0.022111985303061014

3 0.10146297241339688

8 0.00032334907570882464

12 -0.092819888101463813

19 -0.12158349523248162

2 0.27252001951689164

4 0.1389215333278028

18 -0.13202189122418825

5 0.030387010564142392

22 0.0085803647602565782

13 -0.070696534712732753

14 -0.0912853928925844

9 -0.017888651719350213

23 0.10216569641652029

11 -0.053494611827240059

20 -0.10800180853273429

21 -0.070702105471528345

0 0.011735200996326559

6 0.016581239381563598

17 -0.15602138949559918

7 0.024077394387953525

5

возрастная_группа_название

нулевой

45-54 -0.013192901125032637

65+ 0.035681341407469279

25-34 -0.044038102549733116

18-24 -0.041488170110836373

неизвестно 0.025466344709472313

35-44 0.01582412778809188

55-64 -0.004832373590628946

6

гендерное_имя

нулевой

мужчина 0.061475274448403977

неизвестно 0.46660611583398443

женский -0.13635601771194916