Поздравляем! Ваша модель готова к развертыванию в производственном конвейере машинного обучения. В этом разделе курса представлены рекомендации по тестированию конвейеров машинного обучения. Однако в этом разделе не демонстрируются эти рекомендации, поскольку такая демонстрация невозможна в изолированной среде.
Вы узнаете о:
- Написание соответствующих тестов для запуска и производства.
- Обнаружение режимов отказа в конвейере машинного обучения с помощью тестов.
- Оценка качества вашей модели в производстве.
Что такое конвейер машинного обучения?
Конвейер машинного обучения состоит из нескольких компонентов, как показано на схеме. Мы познакомимся с этими компонентами позже. А пока обратите внимание, что «Модель» (черный ящик) — это небольшая часть конвейерной инфраструктуры, необходимой для производственного машинного обучения.
Роль тестирования в конвейерах машинного обучения
В разработке программного обеспечения идеальный рабочий процесс соответствует разработке через тестирование (TDD). Однако в ML начинать с тестов не так просто. Ваши тесты зависят от ваших данных, модели и проблемы. Например, перед обучением вашей модели вы не можете написать тест для проверки потерь. Вместо этого вы обнаруживаете достижимую потерю во время разработки модели, а затем тестируете новые версии модели на предмет достижимой потери.
Вам нужны тесты на:
- Проверка входных данных.
- Проверка разработки признаков.
- Проверка качества новых версий моделей.
- Проверка обслуживающей инфраструктуры.
- Тестирование интеграции между компонентами конвейера.