Glossário de machine learning: modelos sequenciais

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Esta página contém os termos do glossário de modelos de sequência. Para ver todos os termos do glossário, clique aqui.

B

Bigram

#seq
#language

Um N-grama em que N=2.

E

problema de gradiente de explosões

#seq

A tendência dos gradientes em uma rede neural profunda (especialmente redes neurais recorrentes) se torna incrivelmente íngreme (alta). Os gradientes íngremes resultam em atualizações muito grandes dos pesos de cada nó em uma rede neural profunda.

Modelos com problemas em gradiente de explosão se tornam difíceis ou impossíveis de treinar. O clipe de gradiente pode reduzir esse problema.

Compare com o problema de desaparecimento de gradiente.

F

esqueça o portão

#seq

A parte de uma célula de Memória de curto prazo de longo prazo que regula o fluxo de informações pela célula. Os portões de esquecimento mantêm o contexto decidindo quais informações devem ser descartadas do estado da célula.

G

recorte de gradiente

#seq

Um mecanismo usado com frequência para mitigar o problema de gradiente em explosão ao limitar de forma artificial (recortar) o valor máximo dos gradientes ao usar gradiente descendente para treinar um modelo

L

Memória de curto prazo (LSTM)

#seq

Um tipo de célula em uma rede neural recorrente usada para processar sequências de dados em aplicativos, como reconhecimento de escrita manual, tradução automática e legendagem de imagens. Os LSTMs resolvem o problema de desaparecimento de gradiente que ocorre ao treinar RNNs devido a longas sequências de dados ao manter o histórico em um estado de memória interna com base na nova entrada e contexto de células anteriores na RNN.

LSTM

#seq

Abreviação de Memória de curto prazo de longo prazo.

N

N-grama

#seq
#language

Uma sequência ordenada de N palavras. Por exemplo, truly madly é um grama de 2 gramas. Como a ordem é relevante, realmente é um segundo grama diferente de realmente difícil.

N Nomes para este tipo de N-grama Exemplos
2 Bigram ou 2 gramas ir, ir, almoçar, jantar
3 trigrama ou 3 gramas comeu demais, três ratos cegos, o sino dos sinos
4 4 gramas andar no parque, poeira no vento, o menino comeu lentilhas

Muitos modelos de entendimento de linguagem natural dependem de N-gramas para prever a próxima palavra que o usuário vai digitar ou dizer. Por exemplo, suponha que um usuário digite três pontos cegos. Um modelo NLU baseado em trigramas provavelmente prevê que o usuário digitará novamente mice.

Comparar N-gramas com bag of words, que são conjuntos de palavras não ordenadas.

R

rede neural recorrente

#seq

Uma rede neural que é executada intencionalmente várias vezes, em que partes de cada uma são executadas na próxima execução. Especificamente, as camadas ocultas da execução anterior fornecem parte da entrada à mesma camada escondida na próxima execução. As redes neurais recorrentes são especialmente úteis para avaliar sequências. Assim, as camadas ocultas podem aprender com execuções anteriores da rede neural em partes anteriores da sequência.

Por exemplo, a figura a seguir mostra uma rede neural recorrente que é executada quatro vezes. Observe que os valores aprendidos nas camadas ocultas da primeira execução se tornam parte da entrada das mesmas camadas ocultas na segunda execução. Da mesma forma, os valores aprendidos na camada escondida na segunda execução se tornam parte da entrada para a mesma camada escondida na terceira execução. Dessa forma, a rede neural recorrente treina e prevê gradualmente o significado de toda a sequência, e não apenas o significado das palavras individuais.

Um RNN que é executado quatro vezes para processar quatro palavras de entrada.

RNN

#seq

Abreviação de redes neurais recorrentes (em inglês).

S

modelo de sequência

#seq

Um modelo cujas entradas têm uma dependência sequencial. Por exemplo, a previsão do próximo vídeo assistido de uma sequência de vídeos assistidos anteriormente.

T

cronograma

#seq

Uma célula "unrolled" dentro de uma rede neural recorrente. Por exemplo, a figura a seguir mostra três etapas (rotuladas com os subscritos t-1, t e t+1):

Três etapas em uma rede neural recorrente. A saída da
          primeira etapa se torna entrada para a segunda etapa. A saída
          da segunda etapa se torna entrada para a terceira etapa.

trigrama

#seq
#language

Um N-grama em que N=3.

V

problema de desaparecimento de gradiente

#seq

A tendência dos gradientes das camadas ocultas anteriores de algumas redes neurais profundas se torna surpreendentemente planas (baixas). Gradientes cada vez menores resultam em mudanças cada vez menores nos pesos dos nós em uma rede neural profunda, levando a poucos ou nenhum aprendizado. Modelos com problemas de desaparecimento de gradiente se tornam difíceis ou impossíveis de treinar. As células de memória longa de curto prazo resolvem esse problema.

Compare com o exploramento de problema de gradiente.