Inferência estática (off-line)
Confira as opções abaixo.
Na inferência off-line, fazemos previsões em um grande lote de dados de uma só vez.
Em seguida, colocamos essas previsões em uma tabela de consulta para uso posterior.
Quais das opções abaixo são verdadeiras para a inferência off-line?
Precisamos criar previsões para todas as entradas possíveis.
Sim, será necessário fazer previsões para todas as entradas possíveis e armazená-las em um cache ou em uma tabela de pesquisa para usar a inferência off-line.
Essa é uma das desvantagens da inferência off-line. Só poderemos disponibilizar uma previsão para os exemplos que já conhecemos. Isso não é um problema se o conjunto de coisas que estamos prevendo for limitado, como todas as cidades do mundo ou todos os itens em uma tabela de banco de dados.
No entanto, para entradas de formato livre, como consultas de usuários que têm uma cauda longa de
itens incomuns ou raros, não seria possível fornecer uma cobertura completa
com um sistema de inferência off-line.
Depois de gerar as previsões, podemos verificá-las antes de aplicá-las.
Isso é realmente uma coisa útil sobre a inferência off-line. Podemos
realizar a verificação de integridade e verificar todas as nossas previsões antes que elas sejam
usadas.
Para uma determinada entrada, podemos disponibilizar uma previsão mais rapidamente do que com a inferência on-line.
Um dos melhores aspectos da inferência off-line é que, depois
que as previsões são gravadas em alguma tabela de consulta,
elas podem ser exibidas com latência mínima. Nenhum cálculo de recurso ou inferência de modelo precisa ser feito no momento da solicitação.
Precisamos monitorar cuidadosamente nossos sinais de entrada por um longo período.
Esse é o único caso em que não precisamos monitorar sinais de entrada por um longo período. Isso ocorre porque, depois que as
previsões são gravadas em uma tabela de consulta, não dependemos mais
dos recursos de entrada. Observe que qualquer atualização posterior do modelo exigirá uma nova rodada de verificação de entrada.
Seremos capazes de reagir rapidamente às mudanças no mundo.
Não, isso é uma desvantagem da inferência off-line. Será necessário esperar
até que um novo conjunto de previsões seja gravado na tabela de consulta para
podermos responder de maneira diferente com base nas mudanças do
mundo.
Inferência dinâmica (on-line)
Confira as opções abaixo.
A inferência dinâmica (on-line) significa fazer previsões sob demanda. Ou seja,
na inferência on-line, colocamos o modelo treinado em um servidor e emitimos
solicitações de inferência conforme necessário. Quais das opções a seguir são verdadeiras sobre a
inferência dinâmica?
Você pode fornecer previsões para todos os itens possíveis.
Sim, isso é um ponto forte da inferência on-line. Toda solicitação recebida recebe uma pontuação. A inferência on-line processa distribuições de cauda longa (aquelas com muitos itens raros), como o espaço de todas as frases possíveis escritas em avaliações de filmes.
É possível fazer a pós-verificação das previsões antes que elas
sejam usadas.
Em geral, não é possível fazer uma pós-verificação de todas as previsões antes que elas sejam usadas, porque as previsões são feitas sob demanda. No entanto, é possível monitorar qualidades de previsão agregadas para fornecer algum nível de verificação de integridade, mas elas só sinalizarão alarmes de incêndio depois que o incêndio já tiver se espalhado.
Monitore os sinais de entrada com cuidado.
Sim. Os sinais podem mudar repentinamente devido a problemas upstream,
prejudicando nossas previsões.
Ao realizar a inferência on-line, você não precisa se preocupar
com a latência da previsão (o tempo de atraso para retornar previsões),
tanto quanto ao realizar a inferência off-line.
A latência de previsão é, com frequência, uma preocupação real na inferência on-line.
Infelizmente, não é possível corrigir os problemas de latência de previsão
adicionando mais servidores de inferência.