Os projetos de ML avançam em fases com metas, tarefas e resultados específicos. Uma compreensão clara das fases de desenvolvimento de ML ajuda a estabelecer responsabilidades de engenharia, gerenciar as expectativas das partes interessadas e alocar recursos de maneira eficiente.
Passar pelas fases (geralmente de forma iterativa) é fundamental para projetar, montar e criar modelos de ML que resolvem problemas de negócios a longo prazo.
Em um nível mais alto, a implementação de uma solução de ML consiste nas seguintes fases:
- Criação e planejamento
- Experimentação
- Criação de pipelines
- Produção
Criação e planejamento
Durante a fase de ideação e planejamento, você enquadra o problema em termos de uma solução de ML e estima a viabilidade do projeto.
- Objetivo: determinar se o ML é a melhor solução para seu problema.
- Tarefas: analise o problema de negócios para entender as restrições do seu projeto.
- Resultado: um documento de design que descreve como resolver um problema com uma solução de ML.
Experimentação
A experimentação é a base do machine learning. Durante essa fase, você verifica se uma solução de ML é viável. Encontrar uma solução é um processo iterativo. É comum testar centenas de experimentos antes de encontrar a combinação certa de recursos, hiperparâmetros e arquitetura de modelo que resolve o problema.
- Meta: criar um modelo que resolva o problema de negócios.
- Tarefas: teste recursos, hiperparâmetros e arquiteturas de modelos.
- Resultado: um modelo com qualidade suficiente para ser colocado em produção.
Criação e produção de pipelines
Durante a fase de criação e produção de pipelines, você cria pipelines para processar dados, treinar um modelo e disponibilizar previsões. Em seguida, implante o modelo e os pipelines na produção com a infraestrutura de monitoramento e geração de registros necessária.
- Objetivo: criar e implementar a infraestrutura para escalonar, monitorar e manter modelos em produção.
- Tarefas: crie pipelines para automatizar muitas das tarefas de manter modelos atualizados em produção.
- Resultados: pipelines de ML validados.
Fluxo de trabalho de ML de ponta a ponta
O diagrama a seguir ilustra todo o fluxo de trabalho de ML de ponta a ponta, listando cada fase e as tarefas e resultados dela:
Figura 1. As quatro fases principais de um fluxo de trabalho de ML.
Observação importante
Cada fase tem vários desafios. Não perceber e planejar esses riscos pode levar a prazos perdidos, engenheiros frustrados e projetos fracassados.