As diretrizes de teste e depuração deste curso podem ser complexas. É possível implementar algumas das diretrizes usando o TensorFlow e o TensorFlow Extended (TFX). O TFX é um pipeline de ML completo baseado no TensorFlow. Para uma demonstração, veja este exemplo completo do TFX (em inglês). Para complementar o exemplo completo, a tabela a seguir lista os recursos disponíveis no TF e no TFX por diretriz. Somente as diretrizes compatíveis com o TF ou o TFX estão listadas.
| Guideline | Implementação do TF/TFX | Implementação interna do Google |
|---|---|---|
| Diretrizes para depurar seu modelo de ML | ||
| Explorar seus dados para entendê-los | Explore seus dados usando o Pandas ou o Facets.
|
|
| Validar dados de entrada usando um esquema de dados | Use o TensorFlow Data Validation. |
|
| Garantir que as divisões sejam de boa qualidade | -- | O TFX divide dados aleatoriamente. No entanto, no momento o TFX não oferece uma maneira de monitorar a qualidade das divisões. |
| Como testar dados de engenharia | -- | Criar testes de unidade para o componente Transform do TFX. Consulte Testes de unidade para entradas do tf.Transform. |
| Como implementar testes com código de ML | Primeiro, depure seus modelos do TF com a execução rápida. Em seguida, crie testes com o Teste do Tensorflow. | Consulte Teste de unidade no TFX e tfx.unit. |
| Otimização | ||
| Como ajustar os hiperparâmetros | Use o ajuste de hiperparâmetros do Cloud ML. | Use o TFX Tuner para ajustar hiperparâmetros em paralelo. Consulte Como ajustar automaticamente modelos. |
| Métricas | ||
| Como gerar métricas de modelo | O TensorBoard visualiza seu gráfico do TF e mostra as métricas. Consulte TensorBoard: visualização de gráfico. | Consulte a ajuda do TensorBoard específica do Google. |
| Implantação para o pipeline | ||
| Monitore as métricas gerais do pipeline | -- | Consulte o painel de Métricas de integridade de ML. |
| Teste de integração do pipeline | -- | Consulte Teste de integração do TFX. |
| Como testar a qualidade do modelo em produção | Use a Análise de modelos do Tensorflow. | Use o TFX ModelValidator |
| Validando compatibilidade de modelo-infra antes da veiculação | -- | Use o TFX InfraValidator. |
| Verificar distorção entre treinamento e exibição | Evite o desvio de atributos compartilhando o código de engenharia de atributos entre o treinamento e a disponibilização usando o TFX Transform. | Consulte Detecção de desvio do treinamento do TFX. |
| Rastreamento de inatividade do modelo | -- | O recurso não foi implementado. Consulte o bug no rastreamento de solicitações de recursos. |