Exercício 1: comece de forma clara e simples

Escreva o que você quer que o modelo aprendido pela máquina faça.

Queremos que o modelo aprendido faça o seguinte:

Dicas de sucesso
Neste ponto, a declaração pode ser qualitativa, mas certifique-se de que isso capture sua meta real, não uma meta indireta. Se você não tiver certeza, dê uma olhada nas lições anteriores e veja o que os modelos de machine learning podem fazer.

Exercício 2: seu resultado ideal

Adicionar o modelo de ML ao sistema gera um resultado desejável. Qual é o resultado, independentemente do modelo? Esse resultado pode ser muito diferente de como você avalia o modelo e a qualidade dele.

Nosso resultado ideal é:

Dicas de sucesso
Você não precisa se limitar às métricas que seu produto já está otimizando. Elas serão abordadas no próximo exercício. Em vez disso, concentre-se no objetivo maior do seu produto ou serviço.

Exercício 3: suas métricas de sucesso

Anote suas métricas para o sucesso e a falha com o sistema de ML. As métricas de falha são importantes, ou seja, como saber se o sistema de ML falhou. As métricas de sucesso e de falha precisam ser frases independentemente das métricas de avaliação do modelo. Por exemplo, não fale sobre precisão, recall ou AUC. Em vez disso, fale sobre os resultados previstos. Geralmente, essas métricas estão vinculadas ao resultado ideal especificado acima.

Nossas métricas de sucesso são:

Nosso modelo de ML será considerado uma falha se:

Dicas de sucesso
  • As métricas são mensuráveis?
  • Como vocês os avaliarão?
  • Quando você poderá avaliá-las?
    • Quanto tempo você levará para saber se o novo sistema de ML é um sucesso ou uma falha?
  • Considere os custos de engenharia e manutenção a longo prazo.
  • A falha pode não ser causada simplesmente pela falta de uma métrica de sucesso.

Exercício 4: sua resposta

Grave a saída que você quer que seu modelo de ML produza.

A saída do nosso modelo de ML será:

A saída é definida como uma das seguintes:

Dicas de sucesso
  • A saída precisa ser quantificável com uma definição que uma máquina possa produzir.
  • Se estiver usando ML preditivo, você conseguirá receber exemplos de saída para usar nos dados de treinamento?
    • Como e de qual fonte?
  • Seus exemplos de saída podem precisar ser projetados, por exemplo, transformando o tempo de exibição em um percentil.
  • Se for difícil conseguir exemplos de saída para usar no treinamento, talvez seja necessário revisitar suas respostas a exercícios anteriores para reformular o problema e as metas em exercícios que permitam treinar um modelo com base nos dados.

Exercício 5: como usar a saída

Escreva quando sua saída precisa ser obtida do modelo de ML e como ela é usada no produto.

A saída do modelo de ML será obtida quando:

O resultado será usado para:

Dicas de sucesso
Considere quais dados serão necessários para fazer a previsão. Por exemplo, se você estiver usando ML para prever o tempo de viagem em um app de mapas, isso poderá ser escrito como "A saída do modelo será obtida quando o usuário selecionar a origem, o destino e o modo de transporte".
Pense em como você usará o resultado previsto no seu produto.
  • Ele será apresentado imediatamente ao usuário em uma IU?
  • Ele será consumido pela lógica de negócios subsequente?
  • Quais são os requisitos de latência?
Esses requisitos (requisito de disponibilização do modelo de ML) podem afetar quais informações podem ser usadas para fazer previsões. Por exemplo:
  • A latência do uso de dados de serviços remotos pode torná-los inviáveis.
  • Se as fontes de dados demorarem para disponibilizar novas informações:
    • Os registros processados podem ser gerados apenas uma vez por dia.
    • Determinadas informações não são conhecidas até que realmente aconteçam (como eventos de conversão).
Teste da Oracle: suponha que você sempre tenha a resposta certa. Como você usaria isso no seu produto?

Exercício 6: sua heurística

Escreva como você resolveria o problema se não usasse ML. Por exemplo, qual heurística você pode usar.

Se não usássemos ML, nós:

Dicas de sucesso
Pense em um cenário em que você precisa entregar o produto amanhã e só pode codificar a lógica de negócios. O que vocês fariam?
Clique no botão abaixo para imprimir ou salvar suas respostas em .pdf.

Página de impressão