Упражнение 1: начните четко и просто

Напишите, что вы хотите, чтобы модель машинного обучения делала.

Мы хотим, чтобы модель машинного обучения:

Советы для успеха
На этом этапе утверждение может быть качественным, но убедитесь, что оно отражает вашу реальную цель, а не косвенную цель. Если вы не уверены, взгляните на предыдущие уроки и посмотрите, на что способны модели с машинным обучением.

Упражнение 2: Ваш идеальный результат

Добавление вашей модели машинного обучения в вашу систему должно дать желаемый результат. Каков этот результат, независимо от самой модели? Обратите внимание, что этот результат может сильно отличаться от того, как вы оцениваете модель и ее качество.

Наш идеальный результат:

Советы для успеха
Вам не нужно ограничивать себя показателями, для которых ваш продукт уже был оптимизирован (они будут рассмотрены в следующем упражнении). Вместо этого постарайтесь сосредоточиться на более широкой цели вашего продукта или услуги.

Упражнение 3: Ваши показатели успеха

Запишите свои показатели успеха и неудачи в системе машинного обучения. Метрики отказа важны, то есть как вы узнаете, вышла ли из строя система ML? Метрики успеха и неудачи должны быть сформулированы независимо от оценочных метрик модели. Например, не говорите о точности, отзыве или AUC; вместо этого говорите об ожидаемых результатах. Часто эти показатели будут привязаны к идеальному результату, который вы указали выше.

Наши показатели успеха:

Наша модель машинного обучения считается неудачной, если:

Советы для успеха
  • Измеримы ли показатели?
  • Как вы будете их измерять?
  • Когда вы сможете их измерить?
    • Сколько времени вам понадобится, чтобы узнать, будет ли ваша новая система машинного обучения успешной или неудачной?
  • Рассмотрите затраты на проектирование и техническое обслуживание в долгосрочной перспективе.
  • Неудача может быть вызвана не только простым недостижением показателя успеха.

Упражнение 4: Ваш результат

Напишите вывод, который вы хотите, чтобы ваша модель ML производила.

Результатом нашей модели ML будет:

Выход определяется как одно из следующего:

Советы для успеха
  • Результат должен поддаваться количественному определению с определением, которое может произвести машина.
  • Если вы используете предиктивное машинное обучение, можете ли вы получить примеры выходных данных для использования в обучающих данных?
    • Как и из какого источника?
  • Возможно, вам потребуется изменить выходные примеры, например, преобразовать время просмотра в процентиль.
  • Если сложно получить примеры выходных данных для использования в обучении, вам может потребоваться пересмотреть свои ответы на прошлые упражнения, чтобы переформулировать проблему и цели в такие, которые позволят вам обучить модель на ваших данных.

Упражнение 5: Использование вывода

Напишите, когда ваши выходные данные должны быть получены из модели ML и как они используются в вашем продукте.

Выход из модели ML будет получен, когда:

Результат будет использован для:

Советы для успеха
Подумайте, какие данные вам понадобятся, чтобы сделать прогноз. Например, если вы используете машинное обучение для прогнозирования времени в пути в картографическом приложении, это можно записать так: «Выходные данные модели будут получены, когда пользователь выберет пункт отправления, пункт назначения и вид транспорта».
Подумайте, как вы будете использовать прогнозируемый результат в своем продукте.
  • Будет ли он немедленно представлен пользователю в пользовательском интерфейсе?
  • Будет ли он использован последующей бизнес-логикой?
  • Какие требования к задержке у вас есть?
Эти требования (обслуживающие требования модели ML) могут повлиять на то, какую информацию можно использовать для прогнозирования. Например:
  • Задержка использования данных из удаленных служб может сделать их невозможными для использования.
  • Если источники данных отстают в предоставлении новой информации:
    • Обработанные журналы могут создаваться только один раз в сутки.
    • Определенная информация неизвестна до тех пор, пока это не произойдет на самом деле (например, конверсионные события).
Тест Oracle: предположим, что у вас всегда был правильный ответ. Как бы вы использовали это в своем продукте?

Упражнение 6: Ваша эвристика

Напишите, как бы вы решили проблему, если бы не использовали ML. Например, какую эвристику вы могли бы использовать.

Если бы мы не использовали ML, мы бы:

Советы для успеха
Подумайте о сценарии, в котором вам нужно доставить продукт завтра, и вы можете только жестко закодировать бизнес-логику. Что бы вы сделали?
Нажмите кнопку ниже, чтобы распечатать или сохранить ответы в формате .pdf.

Распечатать страницу