머신러닝 용어집: 시퀀스 모델

이 페이지에는 시퀀스 모델 용어집이 포함되어 있습니다. 모든 용어집 용어를 보려면 여기를 클릭하세요.

Bigram

#seq
#language

N=2인 N-그램입니다.

E

경사 폭발 문제

#seq

심층신경망(특히 순환 신경망)의 경사가 놀라울 정도로 가파르게 증가하는 경향입니다. 경사가 가파른 경우 종종 심층신경망에 있는 각 노드가중치가 매우 크게 업데이트됩니다.

경사 발산 문제가 있는 모델은 학습하기 어렵거나 불가능해집니다. 경사 제한은 이 문제를 완화할 수 있습니다.

서서히 발생하는 경사 문제와 비교해 보세요.

F

게이트 게이트

#seq

셀을 통한 정보 흐름을 제어하는 장기 단기 메모리 셀의 일부입니다. 포겟 게이트는 셀 상태에서 어떤 정보를 삭제할지 결정하여 컨텍스트를 유지합니다.

G

경사 제한

#seq

경사하강법을 사용하여 모델을 학습할 때 경사의 최댓값을 인위적으로 제한 (클리핑)하여 과도 경사 문제를 완화하는 데 일반적으로 사용되는 메커니즘

L

장기 단기 메모리 (LSTM)

#seq

필기 입력 인식, 기계 번역, 이미지 자막 등 애플리케이션에서 데이터 시퀀스를 처리하는 데 사용되는 순환 신경망의 셀 유형입니다. LSTM은 RNN에 있는 이전 셀의 새 입력 및 컨텍스트를 기반으로 내부 메모리 상태에서 기록을 유지하여 긴 데이터 시퀀스로 인해 RNN을 학습시킬 때 발생하는 사라진 경사 문제를 해결합니다.

LSTM

#seq

장기 단기 메모리의 약어입니다.

구매 불가

N-그램

#seq
#language

N개 단어의 순서가 지정된 시퀀스입니다. 예를 들어 truly madly는 2-그램입니다. 순서는 매우 관련이 있기 때문에 madly truetrud madly와는 다른 2-그램입니다.

구매 불가 이러한 종류의 N-그램 이름 예시
2 Bigram 또는 2-그램 가고, 가고, 점심을 먹고, 저녁을 먹고
3 트라이그램 또는 3-그램 너무 많이 먹거나, 맹인 쥐 3명과 벨이 울려서
4 4-그램 공원을 걷고, 바람을 타고 바람을 타고, 소년이 렌틸콩을 먹었습니다.

많은 자연어 이해 모델은 사용자가 입력하거나 말할 다음 단어를 예측하기 위해 N-그램을 사용합니다. 예를 들어 사용자가 three 블라인드를 입력했다고 가정하겠습니다. 트라이그램을 기반으로 하는 NLU 모델은 사용자가 다음에 마우스를 입력할 것으로 예측할 수 있습니다.

N-그램을 순서가 지정되지 않은 단어 세트인 단어 집합과 대조합니다.

오른쪽

순환 신경망

#seq

의도적으로 여러 번 실행되는 신경망으로 각 실행의 일부가 다음 실행으로 피드됩니다. 특히 이전 실행의 히든 레이어는 다음 실행의 동일한 히든 레이어에 입력의 일부를 제공합니다. 순환 신경망은 시퀀스를 평가할 때 특히 유용하므로 히든 레이어가 시퀀스의 앞부분에 있는 신경망의 이전 실행에서 학습할 수 있습니다.

예를 들어 다음 그림은 네 번 실행되는 순환 신경망을 보여줍니다. 첫 번째 실행에서 히든 레이어에 학습된 값이 두 번째 실행에서 동일한 히든 레이어에 입력의 일부가 됩니다. 마찬가지로 두 번째 실행에서 히든 레이어에 학습된 값이 세 번째 실행에서 동일한 히든 레이어에 대한 입력의 일부가 됩니다. 이러한 방식으로 순환 신경망은 개별 단어의 의미가 아닌 전체 시퀀스의 의미를 점진적으로 학습시키고 예측합니다.

4회 실행되어 4개의 입력 단어를 처리하는 RNN입니다.

RNN

#seq

순환 신경망(Recurrent Neural Networks)의 약자입니다.

S

시퀀스 모델

#seq

입력에 순차 종속 항목이 있는 모델입니다. 예를 들어 이전에 시청한 동영상 시퀀스에서 시청한 다음 동영상을 예측합니다.

T

타임스텝

#seq

순환 신경망(RNN) 내의 하나의 '전복되지 않은' 셀 예를 들어 다음 그림은 아래 첨자 t-1, t, t+1로 라벨이 지정된 3가지 단계를 보여줍니다.

순환 신경망의 3가지 단계 첫 번째 단계의 출력에서는 두 번째 단계의 입력이 됩니다. 두 번째 시간 단계의 출력은 세 번째 시간 단계의 입력이 됩니다.

트라이그램

#seq
#language

N=3인 N-그램입니다.

V

경사 소실 문제

#seq

일부 심층신경망의 초기 히든 레이어의 경사가 놀랍도록 평평 (낮음)하는 경향입니다. 그래디언트가 점점 낮아질수록 심층신경망에 있는 노드의 가중치가 조금씩 변경되어 학습이 거의 또는 전혀 이루어지지 않게 됩니다. 경사 사라지는 문제가 있는 모델은 학습하기 어렵거나 불가능합니다. 장기 단기 메모리 셀은 이 문제를 해결합니다.

과도한 경사 문제와 비교합니다.