Inferência estática x dinâmica

É possível escolher uma das seguintes estratégias de inferência:

• inferência off-line, o que significa que você faz todas as previsões possíveis em um lote usando um MapReduce ou algo semelhante. Em seguida, você grava as previsões em um SSTable ou Bigtable e as insere em uma tabela de cache/pesquisa.
• inferência on-line, ou seja, você prevê sob demanda usando um servidor.

Tempo estimado: três minutos

Objetivos de aprendizado

• Entenda os prós e contras das inferências estáticas e dinâmicas.
• Estime as necessidades de treinamento e disponibilização para cenários reais.

Saiba mais sobre a inferência estática e a dinâmica no vídeo a seguir (2 min).

Inferência estática x dinâmica

Paradigmas do sistema de ML: inferência

Inferência off-line

• Faça todas as previsões possíveis em um lote, usando um map individuais ou semelhante.
• Gravar em uma tabela e, em seguida, alimentá-los em uma tabela de cache/consulta.

Inferência on-line

• Faça previsões sob demanda usando um servidor.

Paradigmas do sistema de ML: inferência

Inferência off-line

• Faça todas as previsões possíveis em um lote, usando um map individuais ou semelhante.
• Gravar em uma tabela e, em seguida, alimentá-los em uma tabela de cache/consulta.
• Pontos positivos: não é preciso se preocupar muito com o custo de inferência.
• Upside: provavelmente é possível usar a cota de lote.
• Pontos positivos: pode fazer a pós-verificação das previsões nos dados antes de enviá-los.

Paradigmas do sistema de ML: inferência

Inferência off-line

• Faça todas as previsões possíveis em um lote, usando um map individuais ou semelhante.
• Gravar em uma tabela e, em seguida, alimentá-los em uma tabela de cache/consulta.
• Pontos positivos: não é preciso se preocupar muito com o custo de inferência.
• Upside: provavelmente é possível usar a cota de lote.
• Upside: pode fazer pós-verificação nas previsões nos dados antes de enviá-los.
• Desvantagem: só consegue prever coisas que sabemos, o que é ruim.
• Desvantagem: a latência da atualização provavelmente medida em horas ou dias.

Paradigmas do sistema de ML: inferência

Inferência on-line

• Faça previsões sob demanda usando um servidor.
• Upside: consegue prever qualquer novo item conforme ele chega, o que é ótimo para ações complexas.

Paradigmas do sistema de ML: inferência

Inferência on-line

• Faça previsões sob demanda usando um servidor.
• Upside: consegue prever qualquer novo item conforme ele chega, o que é ótimo para ações complexas.
• Desvantagem: uso intenso de computação, sensível à latência e pode limitar a complexidade do modelo.
• Desvantagem: as necessidades de monitoramento são mais intensas.

A dublagem em voz desta aula em vídeo foi gerada usando técnicas de aprendizado de máquina. Ajude a refinar nossa tecnologia de dublagem de voz. Clique em "Enviar feedback" acima para enviar sugestões e relatórios de bugs.

Para mudar para áudio em inglês, escolha inglês no menu suspenso no canto inferior esquerdo da página.

O vídeo não está sendo exibido?

Consulte a página da comunidade para saber como resolver problemas.

Resumo da aula em vídeo

Confira os prós e contras da inferência off-line:

• Pró: não é preciso se preocupar muito com o custo da inferência.
• Pró: provavelmente é possível usar a cota de lote ou algum MapReduce gigante.
• Pró: pode fazer a pós-verificação das previsões antes de enviá-las.
• Desvantagem: só consegue prever coisas que sabemos, pior para cauda longa.
• Desvantagem: a latência de atualização provavelmente é medida em horas ou dias.

Veja os prós e contras da inferência on-line:

• Pró: é possível fazer uma previsão sobre qualquer novo item à medida que ele chega, o que é ótimo para cauda longa.
• Desvantagem: computação intensa, sensível à latência. Pode limitar a complexidade do modelo.
• Desvantagem: o monitoramento das necessidades é mais intenso.

Termos-chave

inferência off-line

inferência on-line

Central de Ajuda