As diretrizes de teste de pipeline não podem ser demonstradas em um Colab. Em vez disso, os exercícios a seguir ajudam a praticar as diretrizes. Veja na próxima página recursos para implementar as diretrizes.
Para as perguntas a seguir, clique na sua seleção para abrir e verificar sua resposta.
Depois de lançar o preditor de aparência do unicórnio, é necessário manter o preditor reformulado com novos dados. Como você está coletando muitos
dados novos para treinar, você decide limitar os dados de treinamento
fazendo uma amostra dos novos dados em uma janela de tempo. Também é necessário considerar os padrões diários e anuais nas aparências de unicórnios. E o mais rápido de lançar
novas versões de modelos é a cada três meses.
Que janela de tempo você escolhe?
Um dia, porque uma janela maior resultaria
em muitos dados, e seu modelo levaria muito tempo para ser treinado.
Incorreto. É possível ajustar a taxa de amostragem de dados para limitar
o tamanho do conjunto de dados. Como você só pode atualizar o modelo
a cada três meses, um modelo treinado com o valor de dados de um dia
ficará gradualmente desatualizado.
Uma semana, para que seu conjunto de dados
não seja muito grande, mas você ainda possa suavizar os padrões.
Incorreto. É possível ajustar a taxa de amostragem de dados para limitar
o tamanho do conjunto de dados. Como você só pode atualizar o modelo
a cada três meses, um modelo treinado com o valor de dados de uma semana
ficará gradualmente desatualizado.
Um ano para garantir que seu modelo não será enviesado por padrões diários ou anuais.
correto. Escolha um conjunto de dados representativo para que o modelo aprenda a prever em todos os cenários.
Você lança o preditor de aparência do unicórnio. Está funcionando bem! Você
sai de férias e volta após três semanas para descobrir que a
qualidade do modelo caiu significativamente. Suponha que é improvável que o comportamento do unicórnio mude significativamente em três semanas. Qual é a explicação mais provável para a queda na qualidade?
Desvio e treinamento para veiculação.
correto. Embora o comportamento do unicórnio provavelmente não tenha mudado,
talvez o relatório de dados ou a formatação de dados subjacente tenha mudado
nos dados de disponibilização após a coleta dos dados de treinamento.
Detecte possíveis desvios de treinamento/exibição verificando os dados de exibição em relação ao esquema de dados dos dados de treinamento.
Você se esqueceu de testar a qualidade do modelo em um limite fixo.
Incorreto. Testar a qualidade do modelo ajudaria a detectar uma
diminuição, mas não explicaria o motivo da diminuição.
Seu modelo está desatualizado.
Incorreto, supondo que seus dados de treinamento cubram todos os ciclos de comportamento do unicórnio, conforme discutido na pergunta anterior.
Recomendamos que você monitore as previsões da Antártica porque não há dados de treinamento suficientes. A qualidade da sua previsão cai misteriosamente por alguns dias de cada vez, especialmente no inverno. Qual poderia ser essa causa?
Um fator ambiental.
correto. Você descobre que as tempestades na Antártica estão relacionadas a
reduções na qualidade da previsão. Durante essas tempestades,
o comportamento do unicórnio muda. Além disso, a coleta de dados durante tempestades na Antártica é impossível, o que significa que o modelo não pode treinar para essas condições.
O modelo fica desatualizado.
Incorreto. Se essa causa estiver correta, a qualidade cairá continuamente à medida que seu modelo ficar desatualizado, em vez de cair por apenas alguns dias.
Nenhuma causa necessária. Os modelos de ML têm aleatoriedade inerente.
Incorreto. Se a qualidade do seu modelo variar, investigue a causa. Tente eliminar a aleatoriedade no
treinamento do modelo para aumentar a reprodutibilidade.
Seu preditor de aparência de unicórnio funciona há um ano. Você
corrigiu muitos problemas, e a qualidade agora é alta. No entanto, há um
pequeno problema permanente. A qualidade do seu modelo flutuou um pouco menor em áreas urbanas. Qual pode ser essa causa?
A alta qualidade das previsões faz com que os usuários encontrem
com facilidade os unicórnios, afetando o comportamento da aparência dos unicórnios.
correto. Os unicórnios responderam a uma maior atenção
mudando o comportamento nas áreas urbanas. À medida que as previsões do seu modelo se adaptam ao comportamento em constante mudança, os unicórnios continuam mudando o comportamento. Essa situação, em que o comportamento do modelo afeta os próprios dados de treinamento, é chamado de loop de feedback.
Modifique a detecção de desvio de veiculação de treinamento para detectar alterações nos dados de veiculação que correspondam às alterações no comportamento do unicórnio.
A aparência dos unicórnios é relatada várias vezes em áreas altamente preenchidas, distorcendo os dados de treinamento.
Incorreto. Isso provavelmente não é a causa porque esse desvio deve ter
diminuído a qualidade do lançamento.
Áreas urbanas são difíceis de modelar.
Incorreto. Se o modelo estivesse tendo problemas para prever em áreas urbanas, a qualidade seria baixa desde o início, em vez de descer abaixo do lançamento.