Упражнение 1: начните четко и просто
Напишите, что вы хотите, чтобы модель машинного обучения делала. Мы хотим, чтобы модель машинного обучения:
Советы для успеха |
---|
На этом этапе утверждение может быть качественным, но убедитесь, что оно отражает вашу реальную цель, а не косвенную цель. Если вы не уверены, взгляните на предыдущие уроки и посмотрите, на что способны модели с машинным обучением. |
Упражнение 2: Ваш идеальный результат
Добавление вашей модели машинного обучения в вашу систему должно дать желаемый результат. Каков этот результат, независимо от самой модели? Обратите внимание, что этот результат может сильно отличаться от того, как вы оцениваете модель и ее качество. Наш идеальный результат:
Советы для успеха |
---|
Вам не нужно ограничивать себя показателями, для которых ваш продукт уже был оптимизирован (они будут рассмотрены в следующем упражнении). Вместо этого постарайтесь сосредоточиться на более широкой цели вашего продукта или услуги. |
Упражнение 3: Ваши показатели успеха
Запишите свои показатели успеха и неудачи в системе машинного обучения. Метрики отказа важны, то есть как вы узнаете, вышла ли из строя система ML? Метрики успеха и неудачи должны быть сформулированы независимо от оценочных метрик модели. Например, не говорите о точности, отзыве или AUC; вместо этого говорите об ожидаемых результатах. Часто эти показатели будут привязаны к идеальному результату, который вы указали выше. Наши показатели успеха:
Наша модель машинного обучения считается неудачной, если:
Советы для успеха |
---|
- Измеримы ли показатели?
- Как вы будете их измерять?
- Когда вы сможете их измерить?
- Сколько времени вам понадобится, чтобы узнать, будет ли ваша новая система машинного обучения успешной или неудачной?
- Рассмотрите затраты на проектирование и техническое обслуживание в долгосрочной перспективе.
- Неудача может быть вызвана не только простым недостижением показателя успеха.
|
Упражнение 4: Ваш результат
Напишите вывод, который вы хотите, чтобы ваша модель ML производила. Результатом нашей модели ML будет:
Выход определяется как одно из следующего:
- Одномерная регрессия
- Многомерная регрессия
- Бинарная классификация
- Мультиклассовая классификация
- Генерировать текст, изображение, аудио, видео или некоторую комбинацию (мультимодальный)
Советы для успеха |
---|
- Результат должен поддаваться количественному определению с определением, которое может произвести машина.
- Если вы используете предиктивное машинное обучение, можете ли вы получить примеры выходных данных для использования в обучающих данных?
- Как и из какого источника?
- Возможно, вам потребуется изменить выходные примеры, например, преобразовать время просмотра в процентиль.
- Если сложно получить примеры выходных данных для использования в обучении, вам может потребоваться пересмотреть свои ответы на прошлые упражнения, чтобы переформулировать проблему и цели в такие, которые позволят вам обучить модель на ваших данных.
|
Упражнение 5: Использование вывода
Напишите, когда ваши выходные данные должны быть получены из модели ML и как они используются в вашем продукте. Выход из модели ML будет получен, когда:
Результат будет использован для:
Советы для успеха |
---|
Подумайте, какие данные вам понадобятся, чтобы сделать прогноз. Например, если вы используете машинное обучение для прогнозирования времени в пути в картографическом приложении, это можно записать так: «Выходные данные модели будут получены, когда пользователь выберет пункт отправления, пункт назначения и вид транспорта». | Подумайте, как вы будете использовать прогнозируемый результат в своем продукте.- Будет ли он немедленно представлен пользователю в пользовательском интерфейсе?
- Будет ли он использован последующей бизнес-логикой?
- Какие требования к задержке у вас есть?
Эти требования (обслуживающие требования модели ML) могут повлиять на то, какую информацию можно использовать для прогнозирования. Например:- Задержка использования данных из удаленных служб может сделать их невозможными для использования.
- Если источники данных отстают в предоставлении новой информации:
- Обработанные журналы могут создаваться только один раз в сутки.
- Определенная информация неизвестна до тех пор, пока это не произойдет на самом деле (например, конверсионные события).
Тест Oracle: предположим, что у вас всегда был правильный ответ. Как бы вы использовали это в своем продукте? |
Упражнение 6: Ваша эвристика
Напишите, как бы вы решили проблему, если бы не использовали ML. Например, какую эвристику вы могли бы использовать. Если бы мы не использовали ML, мы бы:
Советы для успеха |
---|
Подумайте о сценарии, в котором вам нужно доставить продукт завтра, и вы можете только жестко закодировать бизнес-логику. Что бы вы сделали? |
Нажмите кнопку ниже, чтобы распечатать или сохранить ответы в формате .pdf. Распечатать страницу