Ao implementar um modelo, comece com simplicidade. A maior parte do trabalho no ML está no lado dos dados. Portanto, executar um pipeline completo para um modelo complexo é mais difícil do que iterar no próprio modelo. Depois de configurar o pipeline de dados e implementar um modelo simples que usa alguns recursos, é possível iterar para criar um modelo melhor.
Modelos simples fornecem uma boa linha de base, mesmo que você acabe não os lançando. Na verdade, usar um modelo simples é melhor do que você imagina. Começar de forma simples ajuda a determinar se um modelo complexo é ou não justificado.
Treinar seu próprio modelo em vez de usar um modelo pré-treinado
Há muitos modelos pré-treinados em diversos casos de uso e oferecem muitas vantagens. No entanto, os modelos pré-treinados só funcionam quando o rótulo e os recursos correspondem exatamente ao conjunto de dados. Por exemplo, se um modelo pré-treinado usar 25 recursos e o conjunto de dados incluir apenas 24 deles, o modelo pré-treinado provavelmente fará previsões ruins.
Normalmente, os profissionais de ML usam subseções correspondentes de entradas de um modelo pré-treinado para ajuste ou aprendizado por transferência. Se não houver um modelo pré-treinado para seu caso de uso específico, considere usar subseções de um modelo pré-treinado ao treinar seu próprio modelo.
Para informações sobre modelos pré-treinados, consulte
Monitoramento
Durante a definição do problema, pense na infraestrutura de monitoramento e alerta necessária para sua solução de ML.
Implantação do modelo
Em alguns casos, um modelo recém-treinado pode ser pior do que o modelo atualmente em produção. Se estiver, evite que ela seja lançada para produção e receba um alerta de que sua implantação automatizada falhou.
Desvio de treinamento para exibição
Se algum dos recursos de entrada usados para inferência tiver valores que estejam fora do intervalo de distribuição dos dados usados no treinamento, é necessário receber um alerta, porque é provável que o modelo faça previsões ruins. Por exemplo, se o modelo foi treinado para prever temperaturas para cidades equatoriais no nível do mar, seu sistema de exibição deve alertá-lo sobre os dados recebidos com latitudes e longitudes e/ou altitudes fora do intervalo em que o modelo foi treinado. Por outro lado, o sistema de disponibilização precisará alertar você se o modelo estiver fazendo previsões que estão fora do intervalo de distribuição visto durante o treinamento.
Servidor de inferência
Se você estiver fornecendo inferências por meio de um sistema de RPC, monitore o próprio servidor de RPC e receba um alerta se ele parar de fornecer inferências.