머신러닝 용어집: 시퀀스 모델

컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

이 페이지에는 시퀀스 모델 용어집이 포함되어 있습니다. 모든 용어집을 보려면 여기를 클릭하세요.

B

Bigram

#seq
#language

N=2인 N-그램입니다.

E

경사 발산 문제

#seq

심층신경망(특히 순환 신경망)의 경사는 놀라울 정도로 가파른 (높은) 경향이 있습니다. 경사가 가파른 경우에는 심층신경망에서 각 노드의 가중치가 매우 크게 업데이트됩니다.

경사 발산 문제가 있는 모델은 학습하기 어렵거나 불가능해집니다. 그래디언트 클리핑은 이 문제를 완화할 수 있습니다.

경사 문제 감소와 비교합니다.

F

CANNOT TRANSLATE

#seq

셀을 통해 정보 흐름을 규제하는 장기 단기 메모리 셀의 일부 지우기 게이트는 셀 상태에서 어떤 정보를 삭제할지 결정하여 컨텍스트를 유지합니다.

G

그라데이션 클리핑

#seq

경사하강법을 사용하여 모델을 학습시킬 때 경사 최댓값을 인위적으로 제한 (클리핑)하여 과도 경사 문제를 완화하는 데 일반적으로 사용되는 메커니즘입니다.

L

LSTM (장기적 메모리)

#seq

필기 인식, 기계 번역, 이미지 캡션과 같은 애플리케이션에서 데이터 시퀀스를 처리하는 데 사용되는 순환 신경망의 셀 유형입니다. LSTM은 RNN에 있는 이전 셀의 새로운 입력 및 컨텍스트를 기반으로 내부 메모리 상태의 기록을 유지하여 긴 데이터 시퀀스로 인해 RNN을 학습시킬 때 발생하는 경사 소멸 문제를 해결합니다.

LSTM

#seq

장기 단기 메모리의 약어입니다.

구매 불가

N-그램

#seq
#language

N개 단어의 순서가 지정된 시퀀스입니다. 예를 들어 truly madly는 2그램입니다. 순서는 관련이 있으므로 매드럽게 진짜진짜 화가 난과는 다른 2그램입니다.

구매 불가 이러한 종류의 N-그램 이름
2 Bigram 또는 2그램 이동, 이동, 점심 식사, 저녁 식사
3 트라이그램 또는 3그램 지나치게 많이 먹음, 블라인드 마우스 3개, 벨 요금
4 4그램 공원 산책, 바람에 따른 먼지, 소년이 렌즈콩을 먹음

많은 자연어 이해 모델은 N-그램을 사용하여 사용자가 입력하거나 다음에 말할 단어를 예측합니다. 예를 들어 사용자가 블라인드 3개를 입력했다고 가정해 보겠습니다. 트라이그램을 기반으로 하는 NLU 모델은 사용자가 다음에 mice를 입력할 것으로 예측할 수 있습니다.

N-그램을 순서가 지정되지 않은 단어 세트인 단어 집합과 비교합니다.

R

순환 신경망(RNN)

#seq

의도적으로 여러 번 실행되는 신경망으로 각 실행의 일부가 다음 실행으로 피드됩니다. 특히 이전 실행의 히든 레이어는 다음 실행에서 동일한 히든 레이어에 입력의 일부를 제공합니다. 순환 신경망(RNN)은 시퀀스를 평가하는 데 특히 유용하며, 따라서 히든 레이어가 시퀀스의 앞부분에 있는 신경망의 이전 실행으로부터 학습할 수 있습니다.

예를 들어 다음 그림은 4번 실행되는 순환 신경망을 보여줍니다. 첫 번째 실행에서 히든 레이어에 학습된 값은 두 번째 실행에서 같은 히든 레이어의 입력에 포함됩니다. 마찬가지로 두 번째 실행에서 히든 레이어에서 학습한 값은 세 번째 실행에서 같은 히든 레이어에 대한 입력의 일부가 됩니다. 이러한 방식으로 순환 신경망(RNN)은 점진적으로 학습하고 개별 단어의 의미보다는 전체 시퀀스의 의미를 예측합니다.

4번 실행되어 4개의 입력 단어를 처리하는 RNN입니다.

RNN

#seq

순환 신경망(RNN)의 약어입니다.

S

시퀀스 모델

#seq

입력에 순차적 종속 항목이 있는 모델입니다. 예를 들어 이전에 시청한 동영상 시퀀스에서 시청한 다음 동영상을 예측합니다.

T

타임스텝

#seq

순환 신경망(RNN) 내의 1개의 '미적용' 셀 예를 들어 다음 그림은 다음 첨자 3개 (아래 첨자 t-1, t, t+1로 표시됨)를 보여줍니다.

순환 신경망의 3가지 단계 첫 번째 타임스텝의 출력은 두 번째 타임스텝에 대한 입력이 됩니다. 두 번째 타임스텝의 출력은 세 번째 타임스텝에 대한 입력이 됩니다.

트라이그램

#seq
#language

N=3인 N-그램입니다.

V

경사 소멸 문제

#seq

일부 심층신경망의 초기 히든 레이어의 경사가 놀라울 정도로 평탄 (낮음)하는 경향이 있습니다. 경사가 점점 커질수록 심층신경망의 노드 가중치가 조금씩 변경되어 학습이 거의 또는 전혀 이루어지지 않습니다. 경사 사라지는 문제가 지속되는 모델은 학습이 어려워지거나 불가능해집니다. 장기 단기 메모리 셀에서 이 문제를 해결했습니다.

과도한 경사 문제와 비교하여,