머신러닝 용어집: ML 기초

컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요.

이 페이지에는 ML 기초 용어집 용어가 포함되어 있습니다. 모든 용어집을 보려면 여기를 클릭하세요.

A

accuracy

#fundamentals

올바른 분류 예측 수를 총 예측 수로 나눈 값입니다. 이는 다음과 같은 의미입니다.

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

예를 들어 40개의 올바른 예측과 10개의 잘못된 예측을 수행한 모델의 정확성은 다음과 같습니다.

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

이진 분류는 다양한 올바른 예측잘못된 예측 카테고리의 이름을 지정합니다. 따라서 이진 분류의 정확도 수식은 다음과 같습니다.

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

각 매개변수는 다음과 같습니다.

  • TP는 참양성 (정확한 예측)의 수입니다.
  • TN은 참음성(올바른 예측)의 수입니다.
  • FP는 거짓양성 (잘못된 예측)의 수입니다.
  • FN은 거짓음성의 수입니다 (잘못된 예측).

정확성을 정밀도재현율과 비교 및 대조합니다.

활성화 함수

#fundamentals

신경망이 특성과 라벨 간의 비선형 (복잡한) 관계를 학습할 수 있게 하는 함수입니다.

많이 사용되는 활성화 함수는 다음과 같습니다.

활성화 함수의 플롯은 단일 직선이 아닙니다. 예를 들어 ReLU 활성화 함수의 플롯은 두 개의 직선으로 구성됩니다.

두 선의 데카르트 도표 첫 번째 줄의 상수 y 값은 0이며 -infinity,0에서 0,-0까지 x축을 따라 실행됩니다.
          두 번째 줄은 0,0에서 시작합니다. 이 선은 기울기가 +1이므로 0,0에서 +무한대 +무한대까지 기울어집니다.

시그모이드 활성화 함수의 플롯은 다음과 같습니다.

도메인에 대해 x의 무한대와 +양성의 x값이 있는 2차원 곡선 차트. x가 0이면 y는 0.5입니다. 곡선의 기울기는 항상 양수이며, 가장 높은 경사는 0.0.5이고,x의 절댓값이 증가하면 경사가 서서히 감소합니다.

인공지능

#fundamentals

복잡한 작업을 해결할 수 있는 사람이 아닌 프로그램 또는 모델. 예를 들어 텍스트 또는 방사선 이미지에서 질병을 식별하는 프로그램이나 모델은 모두 인공지능을 나타냅니다.

공식적으로 머신러닝은 인공지능의 하위 분야입니다. 하지만 최근 들어 일부 조직에서는 인공지능머신러닝이라는 용어를 서로 바꿔서 사용하기 시작했습니다.

AUC (ROC 곡선 아래 영역)

#fundamentals

포지티브 클래스네거티브 클래스를 분리하는 이진 분류 모델의 0.0에서 1.0 사이의 숫자입니다. AUC가 1.0에 가까울수록 서로 클래스를 구분하는 모델 성능이 우수합니다.

예를 들어 다음 그림은 포지티브 클래스 (녹색 타원형)를 네거티브 클래스(보라색 직사각형)와 완벽하게 구분하는 분류기 모델을 보여줍니다. 비현실적인 완벽한 모델은 AUC가 1.0입니다.

한 쪽은 긍정적 예 8개가 있고 다른 한 쪽은 음수 예 9개가 있는 숫자 선입니다.

반대로 다음 그림은 무작위 결과를 생성한 분류 기준 모델의 결과를 보여줍니다. 이 모델의 AUC는 0.5입니다.

양수의 예 6개와 음수 6개의 예가 포함된 숫자 행입니다.
          예시의 예는 양성, 음성, 양성, 음성, 양성, 음성, 양성, 음성, 양성, 음성, 양성, 음성입니다.

예, 앞선 모델의 AUC는 0.0이 아니라 0.5입니다.

대부분의 모델은 두 극단 사이에 있습니다. 예를 들어 다음 모델은 포지티브와 네거티브를 다소 분리하므로 AUC가 0.5~1.0입니다.

양수의 예 6개와 음수 6개의 예가 포함된 숫자 행입니다.
          예시의 예는 네거티브, 네거티브, 네거티브, 네거티브, 네거티브, 네거티브, 포지티브, 네거티브, 네거티브, 네거티브, 포지티브, 네거티브입니다.

AUC는 분류 임곗값에 설정한 모든 값을 무시합니다. 대신 AUC는 모든 가능한 분류 임곗값을 고려합니다.

B

역전파

#fundamentals

신경망에서 경사하강법을 구현하는 알고리즘입니다.

신경망을 학습시키려면 다음 2 패스 주기의 여러 반복이 필요합니다.

  1. 정방향 전달 중에 시스템은 배치를 처리하여 예측을 생성합니다. 시스템은 각 예측을 각 label 값과 비교합니다. 예측과 라벨 값의 차이는 해당 예시의 손실입니다. 시스템에서는 모든 예시의 손실을 집계하여 현재 배치의 총 손실을 계산합니다.
  2. 역방향 전달(역전파) 중에 시스템은 모든 히든 레이어의 모든 뉴런 가중치를 조정하여 손실을 줄입니다.

신경망은 많은 히든 레이어에 걸쳐 다수의 뉴런을 포함합니다. 각 뉴런은 다양한 방식으로 전체 손실에 기여합니다. 역전파는 특정 뉴런에 적용되는 가중치를 늘리거나 줄일지 결정합니다.

학습률은 각 역방향 패스가 각 가중치를 늘리거나 줄이는 정도를 제어하는 배수입니다. 학습률이 클수록 작은 학습률보다 가중치가 증가하거나 감소합니다.

미적분학 측면에서 역전파는 미적분 체인 규칙을 구현합니다. 즉, 역전파는 각 매개변수를 고려하여 오류의 편미분을 계산합니다. 자세한 내용은 이 머신러닝 단기집중과정 가이드를 참조하세요.

몇 년 전부터 ML 실무자는 역전파를 구현하기 위해 코드를 작성해야 했습니다. 이제 TensorFlow와 같은 최신 ML API에서 역전파를 구현합니다. 휴!

일괄

#fundamentals

한 학습 반복에 사용된 집합입니다. 배치 크기에 따라 배치의 예시 수가 결정됩니다.

배치가 에포크와 어떻게 관련되는지를 알아보려면 epoch를 참조하세요.

배치 크기

#fundamentals

배치에 있는 의 수입니다. 예를 들어 배치 크기가 100이면 모델은 반복당 100개의 예시를 처리합니다.

많이 사용되는 배치 크기 전략은 다음과 같습니다.

  • 확률적 경사하강법 (SGD): 배치 크기가 1입니다.
  • 전체 배치. 여기서 배치 크기는 전체 학습 세트의 예시 수입니다. 예를 들어 학습 세트에 백만 개의 예시가 포함되어 있다면 배치 크기는 백만 개의 예시일 것입니다. 전체 배치는 일반적으로 비효율적인 전략입니다.
  • 미니 배치: 일반적으로 배치 크기가 10~1000입니다. 일반적으로 미니 배치가 가장 효율적인 전략입니다.

편향 (윤리/공정성)

#fairness
#fundamentals

1. 특정 사물, 사람 또는 집단을 다른 사람보다 고정 관념, 편견 또는 편파적 표현으로 보여줌 이러한 편향은 데이터의 수집 및 해석, 시스템 설계, 사용자가 시스템과 상호작용하는 방식에 영향을 줄 수 있습니다. 이러한 유형의 편향은 다음과 같습니다.

2. 샘플링 또는 보고 절차로 인해 발생하는 체계적 오류입니다. 이러한 유형의 편향은 다음과 같습니다.

머신러닝 모델의 편향 항 또는 예측 편향과 혼동해서는 안 됩니다.

편향 (수학) 또는 편향 항

#fundamentals

원점에서 가로채기 또는 오프셋 편향은 머신러닝 모델의 매개변수이며 다음 중 하나로 기호화됩니다.

  • b
  • 0

예를 들어 다음 수식에서 편향은 b입니다.

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

간단한 2차원 선에서 편향은 'y-절편'을 의미합니다. 예를 들어 다음 그림에서 선의 편향은 2입니다.

경사가 0.5이고 편향 (y 절편)이 2인 선의 도표.

모든 모델이 원본 (0,0)에서 시작되는 것은 아니기 때문에 편향이 존재합니다. 예를 들어 놀이공원에 입장하려면 고객이 머무르는 데 2유로가, 시간당 0.5유로가 더 추가되어야 합니다. 따라서 최저 비용은 2유로이므로 총 비용을 매핑하는 모델의 편향이 2입니다.

편향을 윤리 및 공정성의 편향이나 예측 편향과 혼동해서는 안 됩니다.

이진 분류

#fundamentals

상호 배타적인 두 클래스 중 하나를 예측하는 분류 작업의 한 유형입니다.

예를 들어 다음 두 가지 머신러닝 모델은 각각 이진 분류를 수행합니다.

  • 이메일 메시지가 스팸 (포지티브 클래스)인지 스팸 아님 (네거티브 클래스)인지 여부를 결정하는 모델입니다.
  • 의학적 증상을 평가하여 특정 질환 (양성 클래스)이 있는지 아니면 해당 질병이 있는지 (네거티브 클래스)인지 여부를 확인하는 모델입니다.

멀티클래스 분류와 대비되는 개념입니다.

로지스틱 회귀분류 임곗값도 참조하세요.

버케팅

#fundamentals

단일 특성을 일반적으로 값 범위를 기준으로 버킷 또는 이라고 하는 여러 바이너리 특성으로 변환합니다. 잘린 특성은 일반적으로 연속 특성입니다.

예를 들어 온도를 단일 부동 소수점 특성으로 표현하는 대신 다음과 같이 온도 범위를 개별 버킷으로 잘라낼 수 있습니다.

  • <= 10도는 - 콜드 버킷입니다.
  • 섭씨 11~24도는 온화합니다.
  • >= 25도는 '따뜻한' 버킷이 될 수 있습니다.

모델은 동일한 버킷의 모든 값을 동일하게 취급합니다. 예를 들어 1322 값은 모두 온대 버킷에 있으므로 모델은 두 값을 동일하게 취급합니다.

C

범주형 데이터

#fundamentals

가능한 특정 값 집합이 있는 특성. 예를 들어 traffic-light-state라는 범주형 특성이 있으며 다음 세 가지 값 중 하나만 있을 수 있습니다.

  • red
  • yellow
  • green

모델은 traffic-light-state을 범주형 특성으로 표시하여 red, green, yellow이 드라이버 동작에 미치는 영향을 서로 다르게 학습할 수 있습니다.

범주형 특성을 분리 특성이라고도 합니다.

숫자 데이터와 대비되는 개념입니다.

클래스

#fundamentals

라벨이 속할 수 있는 카테고리입니다. 예를 들면 다음과 같습니다.

  • 스팸을 감지하는 이진 분류 모델에서 두 클래스는 스팸일 수 있고 스팸 아님일 수 있습니다.
  • 견종을 식별하는 멀티클래스 분류 모델에서 클래스는 푸들, 비글, 퍼그 등일 수 있습니다.

분류 모델은 클래스를 예측합니다. 반대로 회귀 모델은 클래스가 아닌 숫자를 예측합니다.

분류 모델

#fundamentals

예측이 클래스모델. 예를 들어 다음은 모든 분류 모델입니다.

  • 입력 문장을 예측하는 모델입니다 (프랑스어 스페인어? 이탈리아어인가요?)
  • 나무 종을 예측하는 모델 (메이플? 오크? 바오밥?).
  • 특정 질병의 포지티브 또는 네거티브 클래스를 예측하는 모델입니다.

반대로 회귀 모델은 클래스가 아닌 숫자를 예측합니다.

분류 모델의 두 가지 일반적인 유형은 다음과 같습니다.

분류 임곗값

#fundamentals

이진 분류에서 로지스틱 회귀 모델의 원시 출력을 포지티브 클래스 또는 네거티브 클래스의 예측으로 변환하는 0과 1 사이의 숫자입니다. 분류 임곗값은 모델 학습에서 선택한 값이 아니라 사용자가 선택한 값입니다.

로지스틱 회귀 모델은 0과 1 사이의 원시 값을 출력합니다. 다음 안내를 따르세요.

  • 이 원시 값이 분류 임곗값보다 클 경우 포지티브 클래스가 예측됩니다.
  • 이 원시 값이 분류 임곗값 미만이면 네거티브 클래스가 예측됩니다.

예를 들어 분류 임곗값이 0.8이라고 가정해 보겠습니다. 원시 값이 0.9이면 모델은 포지티브 클래스를 예측합니다. 원시 값이 0.7이면 모델은 네거티브 클래스를 예측합니다.

분류 임곗값 선택은 거짓양성거짓음성 수에 큰 영향을 줍니다.

클래스 불균형 데이터 세트

#fundamentals

각 클래스의 총 라벨 수가 크게 다른 분류 문제의 데이터 세트입니다. 예를 들어 다음과 같이 두 개의 라벨이 있는 이진 분류 데이터 세트를 생각해 보세요.

  • 제외 라벨 1,000,000개
  • 긍정적인 라벨 10개

음수 및 양수 라벨의 비율이 100,000:1이므로 클래스 불균형 데이터 세트입니다.

반면에 다음 데이터 세트는 포지티브 라벨에 대한 제외 라벨의 비율이 비교적 1에 가깝기 때문에 클래스 불균형을 갖지 않습니다.

  • 제외 라벨 517개
  • 긍정적인 라벨 483개

다중 클래스 데이터 세트는 클래스 불균형도 관리할 수 있습니다. 예를 들어 다음 다중 클래스 분류 데이터 세트는 한 라벨이 다른 두 라벨보다 훨씬 많은 예시를 가지고 있으므로 클래스 불균형을 해결합니다.

  • '초록색' 클래스가 포함된 라벨 100만 개
  • 보라색 클래스가 있는 라벨 200개
  • '주황색' 클래스가 있는 라벨 350개

엔트로피, 주요 클래스, 다수 클래스도 참고하세요.

클리핑

#fundamentals

다음 중 하나 또는 둘 다를 실행하여 이상점을 처리하는 기법입니다.

  • 최댓값보다 큰 feature 값을 해당 최대 임곗값까지 줄입니다.
  • 최소 기준점보다 낮은 특성값을 해당 최소 기준값까지 늘립니다.

예를 들어 특정 특성의 값의 0.5% 가 40~60 범위를 벗어났다고 가정해 보겠습니다. 이 경우 다음과 같이 할 수 있습니다.

  • 60 (최대 임곗값)을 초과하는 모든 값을 정확히 60으로 자릅니다.
  • 40 (최소 임곗값) 미만의 모든 값을 정확히 40으로 자릅니다.

이상점은 모델을 손상시켜 학습 중에 가중치가 오버플로되는 경우가 있습니다. 일부 이상점은 정확성과 같은 측정항목을 급격히 스포일로 만들 수도 있습니다. 클리핑은 손상을 제한하는 일반적인 기술입니다.

그래디언트 클리핑은 학습 중에 지정된 범위 내에서 그라데이션 값을 강제 적용합니다.

혼동 행렬

#fundamentals

NxN 테이블로 분류 모델의 올바른 예측과 잘못된 예측 수를 요약합니다. 이진 분류 모델에 다음과 같은 혼동 행렬을 예로 들어 보겠습니다.

종양 (예측) 비종양 (예측)
종양 (정답) 18 (TP) 1 (FP)
비종양 (정답) 6 (FN) 452 (TN)

앞의 혼동 행렬은 다음을 보여줍니다.

  • 정답이 Tumor인 19개의 예측 중에서 모델이 18개를 올바르게 분류했고 1개를 잘못 분류했습니다.
  • 정답이 아닌 종양이었던 458개의 예측 중에서 모델이 452를 올바르게 분류하고 6개를 잘못 분류했습니다.

멀티클래스 분류 문제의 혼동 행렬은 실수 패턴을 식별하는 데 도움이 될 수 있습니다. 예를 들어 세 가지 아이리스 유형(Virginica, Versicolor, Setosa)을 분류하는 3클래스 다중 클래스 분류 모델에 다음과 같은 혼동 행렬을 생각해 봅시다. 정답이 Virginica일 경우 혼동 행렬을 통해 모델이 Setosa보다 Versicolor를 잘못 예측할 가능성이 훨씬 크다는 것을 알 수 있습니다.

  세토사어 (예측) Versicolor (예측) 버지니카 (예상)
세토사어 (정답) 88 12 0
Versicolor (정답) 6 141 7
버지니아 (정답) 2 27 109

또 다른 예로, 혼동 행렬은 필기 입력 숫자를 인식하도록 학습된 모델이 4가 아닌 9를 잘못 예측하거나 7 대신 1을 잘못 예측하는 경향이 있음을 확인할 수 있습니다.

혼동 행렬에는 정밀도재현율 등 다양한 성능 측정항목을 계산하는 데 충분한 정보가 포함되어 있습니다.

연속 특성

#fundamentals

온도나 몸무게와 같이 무한 값의 가능한 범위를 갖는 부동 소수점 특성입니다.

분리된 특성과 대비되는 개념입니다.

수렴

#fundamentals

반복 시마다 손실 값이 거의 또는 전혀 변경되지 않는 상태에 도달합니다. 예를 들어 다음 손실 곡선은 약 700회 반복에서의 수렴을 제안합니다.

데카르트 도표 X축은 손실입니다. Y축은 학습 반복 횟수입니다. 처음 몇 번 반복할 때는 손실이 매우 크지만 급격히 감소합니다. 약 100회 반복한 후에도 손실은 여전히 내림차순으로 작성되지만 훨씬 더 서서히 감소합니다. 약 700회 반복한 후에는 손실이 일정하게 유지됩니다.

추가 학습으로 모델이 개선되지 않으면 모델이 수렴합니다.

딥 러닝의 경우 손실 값이 일정하게 유지되거나 거의 반복되어 내림차순에 이르는 경우가 많습니다. 오랜 시간 동안 일정한 손실 값을 갖는 경우 일시적으로 잘못된 수렴 감각을 얻을 수 있습니다.

조기 중단도 참고하세요.

D

DataFrame

#fundamentals

메모리에서 데이터 세트를 나타내는 데 널리 사용되는 Pandas 데이터 유형입니다.

DataFrame은 테이블 또는 스프레드시트와 유사합니다. DataFrame의 각 열에는 이름 (헤더)이 있고 각 행은 고유 번호로 식별됩니다.

DataFrame의 각 열은 2D 배열처럼 구조화되지만 각 열에 자체 데이터 유형을 할당할 수 있습니다.

공식 Pandas.DataFrame 참조 페이지도 확인하세요.

데이터 세트 또는 데이터 세트

#fundamentals

일반적으로 (다음을 포함하나 이에 국한되지는 않음) 원시 데이터 컬렉션은 다음 형식 중 하나로 구성됩니다.

  • 스프레드시트
  • CSV (쉼표로 분리된 값) 형식의 파일

심층 모델

#fundamentals

2개 이상의 히든 레이어를 포함하는 신경망.

심층 모델을 심층신경망이라고도 합니다.

와이드 모델과 대비되는 개념입니다.

밀집 특성

#fundamentals

대부분 또는 모든 값이 0이 아닌 특성. 일반적으로 부동 소수점 값의 Tensor입니다. 예를 들어 다음 10개 요소의 텐서가 밀집되어 있고, 이 중 9개 값은 0이 아닙니다.

8 3 7 5 2 4 0 4 9 6

희소 특성과 대비되는 개념입니다.

depth

#fundamentals

신경망의 총합은 다음과 같습니다.

예를 들어 히든 레이어 5개와 출력 레이어 1개가 있는 신경망의 깊이는 6입니다.

입력 레이어는 깊이에 영향을 미치지 않습니다.

불연속 특성

#fundamentals

가능한 값의 유한한 집합을 갖는 특성입니다. 예를 들어 값이 동물, 식물, 광물 중 하나일 수 있는 특성은 별개의 (또는 범주형) 특성입니다.

연속 특성과 대비되는 개념입니다.

동적

#fundamentals

자주 또는 지속적으로 수행되는 작업 동적온라인은 머신러닝의 동의어입니다. 다음은 머신러닝에서 일반적으로 동적온라인으로 사용되는 사례입니다.

  • 동적 모델 (또는 온라인 모델)은 자주 또는 지속적으로 재학습되는 모델입니다.
  • 동적 학습(또는 온라인 학습)은 빈번하거나 지속적으로 학습을 수행하는 프로세스입니다.
  • 동적 추론(또는 온라인 추론)은 요청 시 예측을 생성하는 프로세스입니다.

동적 모델

#fundamentals

자주 (경우에 따라 계속) 다시 학습되는 모델. 동적 모델은 끊임없이 변화하는 데이터에 끊임없이 적응하는 '평생 학습자'입니다. 동적 모델을 온라인 모델이라고도 합니다.

정적 모델과 대비되는 개념입니다.

E

조기 중단

#fundamentals

학습 손실 감소가 끝나기 전에 학습을 종료하는 정규화 방법 조기 중단에서는 검증 데이터 세트의 손실이 증가하기 시작할 때 즉, 일반화 성능이 저하될 때 의도적으로 모델 학습을 중지합니다.

임베딩 레이어

#language
#fundamentals

저차원 임베딩 벡터를 점진적으로 학습하기 위해 고차원 범주형 특성으로 학습하는 특수한 히든 레이어입니다. 임베딩 레이어를 사용하면 신경망이 고차원 범주형 특성만 학습하는 것보다 훨씬 효율적으로 학습할 수 있습니다.

예를 들어, 지구는 현재 약 73,000개의 종을 지원합니다. 트리 종이 모델에서 특성이라고 할 때, 모델의 입력 레이어에 73,000개 길이의 원-핫 벡터가 포함되어 있다고 가정해 보겠습니다. 예를 들어 baobab는 다음과 같이 표시될 수 있습니다.

73,000개 요소의 배열입니다. 처음 6,232개 요소는 값 0을 보유합니다. 다음 요소는 값 1을 보유합니다. 마지막 66,767개 요소는 0 값을 갖습니다.

73,000개 요소의 배열이 매우 깁니다. 모델에 임베딩 레이어를 추가하지 않으면 72,999개의 0을 곱하기 때문에 학습에 매우 많은 시간이 걸립니다. 임베딩 레이어를 선택하여 12개의 차원으로 구성할 수도 있습니다. 따라서 임베딩 레이어는 각 트리 종의 새로운 임베딩 벡터를 점진적으로 학습합니다.

특정 상황에서 임베딩 레이어 대신 사용할 수 있는 대안은 해싱입니다.

에포크

#fundamentals

예시가 한 번 처리되도록 전체 학습 세트에 대한 전체 학습 패스

에포크는 N/배치 크기 학습 반복을 나타냅니다. 여기서 N는 총 예시 수입니다.

예를 들면 다음과 같습니다.

  • 데이터 세트는 1,000개의 예시로 구성됩니다.
  • 배치 크기는 50가지 예시입니다.

따라서 한 에포크에는 20회 반복이 필요합니다.

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

example(예시)

#fundamentals

한 행의 특성 값 및 라벨(가능한 경우) 지도 학습의 예는 두 가지 일반적인 카테고리로 나뉩니다.

  • 라벨이 있는 예는 하나 이상의 특성과 라벨로 구성됩니다. 라벨이 있는 예는 학습 중에 사용됩니다.
  • 라벨이 없는 예는 하나 이상의 특성으로 구성되지만 라벨은 없습니다. 라벨이 없는 예는 추론 중에 사용됩니다.

예를 들어 날씨 조건이 학생 시험 점수에 미치는 영향을 확인하도록 모델을 학습시킨다고 가정해 보겠습니다. 다음은 라벨이 지정된 3가지 예입니다.

기능 라벨
체온 습도 압력 센서 테스트 점수
15 47 998 양호
19 34 1020 좋습니다.
18 92 1012 나쁨

라벨이 없는 세 가지 예는 다음과 같습니다.

체온 습도 압력 센서  
12 62 1014  
21 47 1017  
19 41 1021  

데이터 세트의 행은 일반적으로 예시의 원시 소스입니다. 즉, 일반적으로 예시는 데이터 세트의 열 하위 집합으로 구성됩니다. 또한 예시의 특성에는 특성 교차와 같은 합성 특성도 포함될 수 있습니다.

F

거짓음성 (FN)

#fundamentals

모델이 네거티브 클래스를 잘못 예측한 예입니다. 예를 들어 모델에서 특정 이메일 메시지가 스팸이 아닌(네거티브 클래스) 예측하지만 해당 이메일 메시지가 실제로 스팸입니다.

거짓양성 (FP)

#fundamentals

모델이 포지티브 클래스를 잘못 예측하는 예입니다. 예를 들어 모델은 특정 이메일 메시지가 스팸(포지티브 클래스)이라고 예측하지만, 이 이메일 메시지는 실제로 스팸이 아닙니다.

거짓양성률 (FPR)

#fundamentals

모델이 포지티브 클래스를 잘못 예측한 실제 음성 예시의 비율입니다. 다음 수식은 거짓양성률을 계산합니다.

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

거짓양성률은 ROC 곡선의 x축입니다.

기능

#fundamentals

머신러닝 모델의 입력 변수입니다. 예시는 하나 이상의 특성으로 구성됩니다. 예를 들어 기상 조건이 학생 시험 점수에 미치는 영향을 확인하도록 모델을 학습시킨다고 가정해 보겠습니다. 다음 표에는 3가지 예시가 나와 있으며, 각 예시에는 3개의 특성과 1개의 라벨이 포함되어 있습니다.

기능 라벨
체온 습도 압력 센서 테스트 점수
15 47 998 92
19 34 1020 84
18 92 1012 87

라벨과 대비되는 개념입니다.

특성 교차

#fundamentals

'교차' 특성으로 구성된 합성 특성이며 범주형 또는 버킷화 특성으로 표현됩니다.

예를 들어 다음 4가지 버킷 중 하나에서 온도를 나타내는 '분위기 예측' 모델을 살펴보겠습니다.

  • freezing
  • chilly
  • temperate
  • warm

다음 세 가지 버킷 중 하나에서 풍속을 나타냅니다.

  • still
  • light
  • windy

특성 교차가 없으면 선형 모델은 이전 7개의 각 버킷과 독립적으로 학습합니다. 따라서 이 모델은 windy와 같은 학습과는 별개로 freezing에 대해 학습합니다.

또는 온도와 풍속의 특성 교차를 만들 수도 있습니다. 이 합성 특성에는 다음과 같은 12개의 값이 포함됩니다.

  • freezing-still
  • freezing-light
  • freezing-windy
  • chilly-still
  • chilly-light
  • chilly-windy
  • temperate-still
  • temperate-light
  • temperate-windy
  • warm-still
  • warm-light
  • warm-windy

특성 교차 덕분에 모델은 freezing-windy일과 freezing-still일 사이의 기분 차이를 학습할 수 있습니다.

각각 다른 버킷이 많은 특성 두 개로 합성 특성을 만들면 결과로 생성된 특성 교차는 엄청나게 많은 조합을 가질 수 있습니다. 예를 들어 한 특성에 1,000개의 버킷이 있고 다른 특성에는 2,000개의 버킷이 있는 경우, 결과 특성 교차에는 2,000,000개의 버킷이 있습니다.

공식적으로 교차는 카티전 프로덕트입니다.

특성 교차는 대부분 선형 모델에서 사용되며 신경망에서는 거의 사용되지 않습니다.

특성 추출

#fundamentals
TensorFlow

다음 단계를 포함하는 프로세스입니다.

  1. 모델 학습에 유용할 수 있는 특성 결정
  2. 데이터 세트의 원시 데이터를 이러한 특성의 효율적인 버전으로 변환합니다.

예를 들어 temperature가 유용한 특성일 수 있다고 결정할 수 있습니다. 그런 다음 버케팅을 실험하여 모델이 다양한 temperature 범위에서 학습할 수 있는 내용을 최적화할 수 있습니다.

특성 추출을 특성 추출이라고도 합니다.

특성 세트

#fundamentals

머신러닝 모델이 학습하는 특성 그룹 예를 들어 우편번호, 속성 크기, 속성 조건은 주택 가격을 예측하는 모델에 대한 간단한 특성 세트를 구성할 수 있습니다.

특징 벡터

#fundamentals

예시를 구성하는 feature 값의 배열. 특징 벡터는 학습 도중과 추론 중에 입력됩니다. 예를 들어 두 개의 개별 특성이 있는 모델의 특징 벡터는 다음과 같습니다.

[0.92, 0.56]

4개의 레이어: 입력 레이어, 2개의 히든 레이어, 1개의 출력 레이어
          입력 레이어에는 0.92 값과 0.56 값이 포함된 노드가 2개 있습니다.

각 예는 특성 벡터에 다른 값을 제공하므로 다음 예의 특성 벡터는 다음과 같을 수 있습니다.

[0.73, 0.49]

특성 추출은 특성 벡터에서 특성을 표현하는 방법을 결정합니다. 예를 들어 5개의 가능한 값을 갖는 이진 범주형 특성은 원-핫 인코딩으로 표현될 수 있습니다. 이 경우 특정 예의 특징 벡터 부분은 다음과 같이 세 개의 위치에 있는 0과 1.0으로 구성됩니다.

[0.0, 0.0, 1.0, 0.0, 0.0]

또 다른 예로, 모델이 다음 세 가지 특성으로 구성되어 있다고 가정해 보겠습니다.

  • 원-핫 인코딩으로 표현될 수 있는 5개의 값을 갖는 바이너리 범주형 특성(예: [0.0, 1.0, 0.0, 0.0, 0.0])
  • 원-핫 인코딩으로 표현될 수 있는 3개의 값을 갖는 또 다른 바이너리 범주형 특성(예: [0.0, 0.0, 1.0])
  • 부동 소수점 특성(예: 8.3)

이 경우 각 예의 특성 벡터는 9개의 값으로 표현됩니다. 위 목록의 예시 값을 고려했을 때 특성 벡터는 다음과 같습니다.

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

피드백 루프

#fundamentals

머신러닝에서 모델의 예측은 동일한 모델 또는 다른 모델의 학습 데이터에 영향을 미치는 상황입니다. 예를 들어 영화를 추천하는 모델은 사용자가 보는 영화에 영향을 주며, 이후에 이어지는 영화 추천 모델에 영향을 미칩니다.

G

일반화

#fundamentals

모델은 이전에 본 적이 없는 새로운 데이터에 대해 올바른 예측을 수행합니다. 일반화 가능한 모델은 과적합 모델과 반대입니다.

일반화 곡선

#fundamentals

반복 횟수에 대한 함수로 학습 손실유효성 검사 손실을 나타낸 도표

일반화 곡선은 가능한 과적합을 감지하는 데 도움이 됩니다. 예를 들어, 다음 일반화 곡선은 검증 손실이 궁극적으로 학습 손실보다 훨씬 높아지기 때문에 과적합을 제안합니다.

y축 라벨이 &#39;손실&#39;이라는 라벨이 지정된 데카르트 그래프 플롯 2개가 표시됩니다. 한 도표는 학습 손실을 보여주고 다른 하나는 검증 손실을 보여줍니다.
          두 플롯은 비슷하게 시작하지만 결국 학습 손실은 검증 손실보다 훨씬 낮습니다.

경사하강법

#fundamentals

손실을 최소화하는 수학적 기법입니다. 경사하강법은 가중치편향을 반복적으로 조정하여 손실을 최소화할 수 있는 최적의 조합을 찾습니다.

경사하강법은 머신러닝보다 훨씬 오래되었습니다.

정답

#fundamentals

현실입니다.

실제로 일어난 일.

예를 들어 대학 1학년생이 6년 이내에 졸업할지 예측하는 이진 분류 모델을 살펴보겠습니다. 이 모델의 정답은 학생이 실제로 6년 이내에 졸업했는지 여부입니다.

H

히든 레이어

#fundamentals

입력 레이어(특성)와 출력 레이어(예측) 사이의 신경망에 있는 레이어입니다. 각 히든 레이어는 하나 이상의 뉴런으로 구성됩니다. 예를 들어 다음 신경망에는 히든 레이어 두 개가 포함되어 있습니다. 첫 번째는 뉴런이 세 개이고 두 번째는 뉴런이 두 개입니다.

4개의 레이어입니다. 첫 번째 레이어는 두 개의 특성을 포함하는 입력 레이어입니다. 두 번째 레이어는 뉴런 세 개를 포함하는 히든 레이어입니다. 세 번째 레이어는 뉴런 두 개를 포함하는 히든 레이어입니다. 네 번째 레이어는 출력 레이어입니다. 각 특성에는
          세 번째 레이어에서 서로 다른 뉴런을 가리키는
          세 개의 가장자리가 포함됩니다. 두 번째 레이어의 각 뉴런에는 두 개의 가장자리가 포함되어 있으며 각 가장자리는 세 번째 레이어의 다른 뉴런을 가리킵니다. 세 번째 레이어의 각 뉴런에는 각각 에지를 포함하고 각각 출력 레이어를 가리킵니다.

심층신경망에는 2개 이상의 히든 레이어가 포함되어 있습니다. 예를 들어 앞의 그림은 심층신경망입니다. 모델에 히든 레이어 두 개가 포함되어 있기 때문입니다.

초매개변수

#fundamentals

모델 학습의 연속적 실행 중에 사용자 또는 초매개변수 조정 서비스이 조정하는 변수입니다. 예를 들어 학습률은 초매개변수입니다. 학습 세션 전에 학습률을 0.01로 설정할 수 있습니다. 0.01이 너무 높다고 생각되면 다음 학습 세션에 대해 학습률을 0.003으로 설정할 수 있습니다.

반면 매개변수는 학습 중에 모델이 학습하는 다양한 가중치편향입니다.

I

독립적이고 동일한 분포 (i.i.d)

#fundamentals

분포에서 가져온 데이터는 변경되지 않으며 가져온 각 값은 이전에 그려진 값에 종속됩니다. i.i.d.는 유용한 수학적 구조이지만 실제 세계에서 거의 발견되지 않는 머신러닝의 이상적인 가스입니다. 예를 들어 웹페이지의 방문자 분포는 짧은 기간에 발생할 수 있습니다. 즉, 짧은 기간 동안 분포는 변하지 않으며 한 사람의 방문은 일반적으로 다른 사람의 방문과 독립적입니다. 하지만 기간을 확대하면 웹페이지 방문자가 계절에 따라 변할 수 있습니다.

비정규성을 참고하세요.

추론

#fundamentals

머신러닝에서는 학습된 모델을 라벨이 없는 예에 적용하여 예측을 수행하는 프로세스입니다.

추론은 통계에서 약간 다른 의미를 지닙니다. 자세한 내용은 통계적 추론에 관한 위키백과 문서를 참조하세요.

입력 레이어

#fundamentals

특성 벡터를 보유하는 신경망레이어입니다. 즉, 입력 레이어는 학습 또는 추론을 위한 예시를 제공합니다. 예를 들어 다음 신경망의 입력 레이어는 두 가지 특성으로 구성됩니다.

4개의 레이어: 입력 레이어, 2개의 히든 레이어, 출력 레이어

해석 가능성

#fundamentals

사람이 이해할 수 있는 용어로 ML 모델을 설명하거나 제시할 수 있는 능력

예를 들어 대부분의 선형 회귀 모델은 해석하기가 쉽습니다. 각 특성의 학습된 가중치만 확인하면 됩니다. 결정 포레스트도 해석 가능성이 매우 높습니다. 그러나 일부 모델의 경우 해석하기 위해서는 정교한 시각화가 필요합니다.

반복

#fundamentals

학습모델 매개변수(모델의 가중치편향)의 단일 업데이트 배치 크기는 모델이 단일 반복으로 처리하는 예의 수를 결정합니다. 예를 들어 배치 크기가 20이라면 모델은 20개의 예시를 처리한 후 매개변수를 조정합니다.

신경망 학습 시 단일 반복에는 다음 두 패스가 포함됩니다.

  1. 단일 배치의 손실을 평가하는 정방향 전달입니다.
  2. 역방향 전달(역전파)을 사용하여 손실과 학습률을 기반으로 모델의 매개변수를 조정합니다.

L

L0 정규화

#fundamentals

모델에 있는 0이 아닌 가중치총 개수에 페널티를 적용하는 정규화 유형입니다. 예를 들어 가중치가 11이 아닌 모델은 가중치가 10이 아닌 유사한 모델보다 페널티가 됩니다.

L0 정규화는 거의 사용되지 않습니다.

L1 손실

#fundamentals

실제 라벨 값과 모델이 예측하는 값 간 오차의 절대값을 계산하는 손실 함수입니다. 예를 들어 5개의 배치의 L1 손실은 다음과 같이 계산됩니다.

예시의 실제 값 모델의 예측 값 델타의 절댓값
7 6 1
5 4 1
8 11 3
4 6 2
9 8 1
  8 = L1 손실

L1 손실은 L2 손실보다 이상점에 덜 민감합니다.

평균 절대 오차는 예시당 평균 L1 손실입니다.

L1 정규화

#fundamentals

정규화 유형으로, 가중치의 절대값 합계에 비례하여 가중치에 페널티를 적용합니다. L1 정규화는 관련성이 없거나 매우 관련성 낮은 특성의 가중치를 정확히 0으로 유도하는 데 도움이 됩니다. 가중치가 0인 특성이 모델에서 효과적으로 삭제됩니다.

L2 정규화와 대비되는 개념입니다.

L2 손실

#fundamentals

실제 라벨 값과 모델이 예측하는 값 사이의 제곱을 계산하는 손실 함수입니다. 예를 들어 5개의 배치의 L2 손실은 다음과 같이 계산됩니다.

예시의 실제 값 모델의 예측 값 델타 정사각형
7 6 1
5 4 1
8 11 9
4 6 4
9 8 1
  16 = L2 손실

제곱으로 인해 L2 손실은 이상점의 영향을 증폭시킵니다. 즉, L2 손실은 L1 손실보다 잘못된 예측에 더 강하게 반응합니다. 예를 들어 이전 배치의 L1 손실은 16이 아닌 8이 됩니다. 단일 이상점이 16개 중 9개를 차지합니다.

회귀 모델은 일반적으로 L2 손실을 손실 함수로 사용합니다.

평균 제곱 오차는 예시당 평균 L2 손실입니다. 제곱 손실은 L2 손실의 또 다른 이름입니다.

L2 정규화

#fundamentals

정규화 유형으로, 가중치 제곱의 합에 비례하여 가중치에 페널티를 적용합니다. L2 정규화는 이상점 가중치(양극 값이 높거나 음수가 낮은 가중치)를 0에 가깝게(매우 0이 아님) 유도하는 데 도움이 됩니다. 값이 0에 가까우면 특성이 모델에 그대로 남아 있지만 모델의 예측에는 크게 영향을 미치지 않습니다.

L2 정규화는 항상 선형 모델의 일반화를 개선합니다.

L1 정규화와 대비되는 개념입니다.

라벨

#fundamentals

지도 머신러닝에서 의 '답변' 또는 '결과' 부분.

라벨이 있는 예는 하나 이상의 특성과 라벨로 구성됩니다. 예를 들어 스팸 감지 데이터 세트에서 라벨은 '스팸' 또는 '스팸 아님'일 수 있습니다. 강우량 데이터 세트에서 라벨은 특정 기간 동안 감소한 비의 양을 나타낼 수 있습니다.

라벨이 있는 예

#fundamentals

하나 이상의 특성라벨이 포함된 예입니다. 예를 들어 다음 표는 주택 평가 모델의 라벨이 지정된 예 3개를 보여줍니다. 각 예시에는 특성 3개와 라벨 1개가 있습니다.

침실 수 욕실 수 주택 연식 주택 가격 (라벨)
3 2 15 345,000달러
2 1 72 179,000달러
4 2 34 392,000달러

지도 머신러닝에서 모델은 라벨이 있는 예를 학습하고 라벨이 없는 예를 기반으로 예측합니다.

라벨이 있는 예와 라벨이 없는 예를 대조합니다.

람다

#fundamentals

정규화율의 동의어입니다.

람다는 과부하된 용어입니다. 여기서는 정규화 내에서 용어의 정의를 집중적으로 살펴봅니다.

레이어

#fundamentals

신경망뉴런 집합입니다. 일반적인 세 가지 유형의 레이어는 다음과 같습니다.

다음 그림은 입력 레이어 1개, 히든 레이어 2개, 출력 레이어 1개가 있는 신경망을 보여줍니다.

입력 레이어 1개, 히든 레이어 2개, 출력 레이어 1개가 있는 신경망 입력 레이어는 두 가지 특성으로 구성됩니다. 첫 번째 히든 레이어는 세 개의 뉴런으로 구성되고 두 번째 히든 레이어는 두 개의 뉴런으로 구성됩니다. 출력 레이어는 단일 노드로 구성됩니다.

TensorFlow에서 레이어텐서와 구성 옵션을 입력으로 취하고 다른 텐서를 출력하는 Python 함수이기도 합니다.

학습률

#fundamentals

경사하강법 알고리즘에 각 반복에 대한 가중치와 편향을 얼마나 강하게 조정할지 알려주는 부동 소수점 숫자입니다. 예를 들어 학습률이 0.3이면 학습률 0.1보다 가중치와 편향이 3배 더 강력해집니다.

학습률은 핵심적인 초매개변수입니다. 학습률을 너무 낮게 설정하면 학습에 시간이 너무 오래 걸립니다. 학습률을 너무 높게 설정하면 경사하강법에서 수렴에 도달하는 데 어려움을 겪는 경우가 많습니다.

선형 모델

#fundamentals

예측을 수행하기 위해 특성가중치를 할당하는 모델. (선형 모델에는 편향도 포함됩니다.) 반면에 딥 모델의 특성과 예측의 관계는 일반적으로 비선형입니다.

선형 모델은 일반적으로 딥 모델보다 학습이 쉽고 해석이 더 쉽습니다. 그러나 딥 모델은 특성 복잡한 관계를 학습할 수 있습니다.

선형 회귀로지스틱 회귀는 두 가지 유형의 선형 모델입니다.

linear

#fundamentals

덧셈과 곱셈을 통해서만 나타낼 수 있는 두 개 이상의 변수 간의 관계입니다.

선형 관계 도표는 선입니다.

비선형과 대비되는 개념입니다.

선형 회귀

#fundamentals

머신러닝 모델의 한 유형으로 다음 두 가지가 모두 참입니다.

  • 모델이 선형 모델입니다.
  • 예측은 부동 소수점 값입니다. 이는 선형 회귀회귀 부분입니다.

선형 회귀와 로지스틱 회귀를 비교합니다. 또한 분류를 사용하여 회귀와 대비합니다.

로지스틱 회귀

#fundamentals

확률을 예측하는 회귀 모델 유형입니다. 로지스틱 회귀 모델의 특성은 다음과 같습니다.

  • 라벨은 범주형입니다. 로지스틱 회귀는 일반적으로 이진 로지스틱 회귀를 나타내며, 가능한 값이 2개인 라벨의 확률을 계산하는 모델을 나타냅니다. 덜 일반적인 변형인 다항 로지스틱 회귀는 가능한 값이 3개 이상인 라벨의 확률을 계산합니다.
  • 학습 중 손실 함수는 로그 손실입니다. 가능한 값이 3개 이상인 라벨에 대해 여러 개의 로그 손실 단위를 동시에 배치할 수 있습니다.
  • 이 모델에는 심층신경망이 아닌 선형 아키텍처가 있습니다. 그러나 이 정의의 나머지 부분은 범주형 라벨의 확률을 예측하는 딥 모델에도 적용됩니다.

예를 들어 입력 이메일이 스팸일 수도 있고 스팸이 될 확률을 계산하는 로지스틱 회귀 모델을 가정해 보겠습니다. 추론 중에 모델이 0.72를 예측한다고 가정합니다. 따라서 모델은 다음과 같이 추정합니다.

  • 이메일이 스팸일 확률은 72% 입니다.
  • 이메일이 스팸이 아닐 확률은 28% 입니다.

로지스틱 회귀 모델은 다음과 같은 2단계 아키텍처를 사용합니다.

  1. 모델이 입력 특성의 선형 함수를 적용하여 원시 예측 (y')을 생성합니다.
  2. 모델은 이 원시 예측을 시그모이드 함수에 대한 입력으로 사용하여 원시 예측을 0과 1 사이의 값으로 변환합니다(제외).

다른 회귀 모델과 마찬가지로 로지스틱 회귀 모델은 숫자를 예측합니다. 하지만 이 값은 일반적으로 다음과 같이 이진 분류 모델의 일부가 됩니다.

  • 예측된 수가 분류 임곗값보다 경우 이진 분류 모델은 포지티브 클래스를 예측합니다.
  • 예측된 숫자가 분류 임곗값보다 작으면 이진 분류 모델은 네거티브 클래스를 예측합니다.

로그 손실

#fundamentals

바이너리 로지스틱 회귀에 사용되는 손실 함수입니다.

로그 오즈

#fundamentals

특정 이벤트의 승률 대수입니다.

손실

#fundamentals

지도 모델학습 과정에서 모델의 예측라벨에서 얼마나 떨어진지 측정합니다.

손실 함수는 손실을 계산합니다.

손실 곡선

#fundamentals

학습 반복 횟수에 따른 손실 플롯 다음 도표는 일반적인 손실 곡선을 보여줍니다.

손실과 학습 반복을 비교하는 카티전 그래프로, 초기 반복에서 손실이 급격히 감소한 후 점진적인 하락을 이루며 마지막 반복 중에 평평한 기울기를 보입니다.

손실 곡선은 모델이 수렴하거나 과적합하는 시점을 판단하는 데 도움이 됩니다.

손실 곡선은 다음과 같은 유형의 손실을 모두 표시할 수 있습니다.

일반화 곡선도 참고하세요.

손실 함수

#fundamentals

학습 또는 테스트 중에 예시의 배치에서 손실을 계산하는 수학적 함수입니다. 손실 함수는 좋은 예측을 하는 모델에 대해 나쁜 예측을 하는 모델에 비해 더 낮은 손실을 반환합니다.

학습의 목표는 일반적으로 손실 함수가 반환하는 손실을 최소화하는 것입니다.

여러 가지 손실 함수가 있습니다. 빌드 중인 모델 종류에 적합한 손실 함수를 선택합니다. 예를 들면 다음과 같습니다.

M

머신러닝

#fundamentals

입력 데이터에서 모델학습하는 프로그램 또는 시스템입니다. 학습된 모델은 모델 학습에 사용된 것과 동일한 분포에서 가져온 새로운 (이전에 본 적 없는) 데이터로부터 유용한 예측을 수행할 수 있습니다.

머신러닝은 이러한 프로그램이나 시스템과 관련된 연구 분야를 가리킵니다.

대다수 클래스

#fundamentals

클래스 불균형 데이터 세트의 보다 일반적인 라벨입니다. 예를 들어 데이터 세트에 99% 의 음성 라벨과 1% 의 긍정 라벨이 들어가면 음성 라벨이 대부분 클래스입니다.

미성년자 클래스와 대비되는 개념입니다.

미니 배치

#fundamentals

반복으로 처리된 배치의 무작위로 선택된 작은 하위 집합. 미니 배치의 배치 크기는 보통 10~1,000개의 예가 있습니다.

예를 들어 전체 학습 세트 (전체 배치)가 1,000개의 예시로 구성되어 있다고 가정해 보겠습니다. 또한 각 미니 배치의 배치 크기를 20으로 설정한다고 가정해 보겠습니다. 따라서 각 반복은 예시 1,000개 중 무작위 20개의 손실을 결정한 다음 그에 따라 가중치편향을 조정합니다.

전체 배치의 모든 예시에 대한 손실보다 미니 배치의 손실을 계산하는 것이 훨씬 효율적입니다.

소수 집단

#fundamentals

클래스 불균형 데이터 세트의 덜 일반적인 라벨입니다. 예를 들어 데이터 세트에 99% 의 음성 라벨과 1% 의 긍정 라벨이 있을 때 양성 라벨은 소수 클래스입니다.

주급 클래스와 대비되는 개념입니다.

모델

#fundamentals

일반적으로 입력 데이터를 처리하고 출력을 반환하는 수학적 구조입니다. 달리 표현하자면 모델은 시스템이 예측을 수행하는 데 필요한 매개변수와 구조의 집합입니다. 지도 머신러닝에서 모델은 를 입력으로 사용하고 예측을 출력으로 추론합니다. 지도 머신러닝 내에서 모델은 다소 차이가 있습니다. 예를 들면 다음과 같습니다.

  • 선형 회귀 모델은 가중치편향의 집합으로 구성됩니다.
  • 신경망 모델은 다음으로 구성됩니다.
    • 히든 레이어 집합. 각 집합은 하나 이상의 뉴런을 포함합니다.
    • 각 뉴런과 관련된 가중치 및 편향
  • 결정 트리 모델은 다음으로 구성됩니다.
    • 트리 형태, 즉 조건과 잎이 연결되는 패턴입니다.
    • 조건 및 떠남

모델을 저장, 복원하거나 사본을 만들 수 있습니다.

또한 비지도 머신러닝은 일반적으로 입력 예를 가장 적절한 클러스터에 매핑할 수 있는 함수인 모델을 생성합니다.

다중 클래스 분류

#fundamentals

지도 학습에서 데이터 세트에는 라벨의 클래스 3개 이상이 포함된 분류 문제가 있습니다. 예를 들어 Iris 데이터 세트의 라벨은 다음 세 가지 클래스 중 하나여야 합니다.

  • 아이리스 세토사
  • 버리스 버지니카
  • 붓꽃

새로운 예의 Iris 유형을 예측하는 Iris 데이터 세트에서 학습된 모델이 다중 클래스 분류를 수행합니다.

반면 정확히 두 클래스를 구분하는 분류 문제는 이진 분류 모델입니다. 예를 들어 스팸 또는 스팸 아님을 예측하는 이메일 모델은 이진 분류 모델입니다.

클러스터링 문제에서 멀티클래스 분류는 둘 이상의 클러스터를 의미합니다.

구매 불가

네거티브 클래스

#fundamentals

이진 분류에서는 한 클래스를 포지티브로, 다른 클래스를 네거티브로 지칭합니다. 포지티브 클래스는 모델이 테스트하는 대상이나 이벤트이며 네거티브 클래스는 또 다른 가능성입니다. 예를 들면 다음과 같습니다.

  • 의료 검사의 네거티브 클래스는 종양이 아닐 수 있습니다.
  • 이메일 분류기의 네거티브 클래스는 '스팸 아님'일 수 있습니다.

포지티브 클래스와 대비되는 개념입니다.

신경망

#fundamentals

하나 이상의 히든 레이어를 포함하는 모델. 심층신경망은 히든 레이어가 두 개 이상 포함된 신경망 유형입니다. 예를 들어 다음 다이어그램은 히든 레이어 두 개를 포함하는 심층신경망을 보여줍니다.

입력 레이어, 히든 레이어 2개, 출력 레이어가 있는 신경망

신경망의 각 뉴런은 다음 레이어의 모든 노드에 연결됩니다. 예를 들어 위 다이어그램에서 첫 번째 히든 레이어의 뉴런 세 개는 각각 두 번째 히든 레이어의 두 뉴런에 개별적으로 연결됩니다.

컴퓨터에 구현된 신경망을 인공 신경망이라고도 하며 신경망 및 기타 신경망에서 발견되는 신경망과 구별합니다.

일부 신경망은 다양한 특성과 라벨 간의 매우 복잡한 비선형 관계를 모방할 수 있습니다.

컨볼루셔널 신경망순환 신경망도 참고하세요.

뉴런

#fundamentals

머신러닝에서 신경망히든 레이어 내에 있는 고유한 단위입니다. 각 뉴런은 다음 2단계 작업을 수행합니다.

  1. 입력 값의 가중치 합계에 해당하는 가중치를 곱한 값을 계산합니다.
  2. 가중치가 적용된 합계를 활성화 함수에 입력으로 전달합니다.

첫 번째 히든 레이어의 뉴런은 입력 레이어의 특성 값에서 입력을 허용합니다. 첫 번째 히든 레이어의 뉴런은 앞의 히든 레이어에 있는 뉴런의 입력을 허용합니다. 예를 들어 두 번째 히든 레이어의 뉴런은 첫 번째 히든 레이어의 뉴런에서 입력을 받습니다.

다음 그림은 뉴런 두 개 및 그 뉴런의 입력을 강조해서 보여줍니다.

입력 레이어, 히든 레이어 2개, 출력 레이어가 있는 신경망 두 개의 뉴런이 강조표시되어 있습니다. 하나는 첫 번째 히든 레이어에 있고 다른 하나는 두 번째 히든 레이어에 있습니다. 첫 번째 히든 레이어의 강조표시된 뉴런은 입력 레이어의 두 특성에서 입력을 수신합니다. 두 번째 히든 레이어의 강조표시된 뉴런은 첫 번째 히든 레이어의 세 뉴런 각각에서 입력을 받습니다.

신경망의 뉴런은 뇌 및 신경계의 다른 뉴런의 행동을 모방합니다.

노드 (신경망)

#fundamentals

히든 레이어뉴런

비선형

#fundamentals

덧셈과 곱셈만으로는 표현할 수 없는 두 개 이상의 변수 간의 관계입니다. 선형 관계는 선으로 표현할 수 있습니다. 비선형 관계는 선으로 표시할 수 없습니다. 예를 들어 각각 단일 특성을 단일 특성과 연결하는 두 가지 모델을 가정해 보겠습니다. 왼쪽 모델은 선형이고 오른쪽 모델은 비선형입니다.

플롯 2개 한 가지 도표는 선이므로 선형 관계입니다.
          다른 플롯은 곡선이므로 비선형 관계입니다.

비정규성

#fundamentals

하나 이상의 측정기준(일반적으로 시간)에서 값이 변경되는 특성입니다. 다음과 같은 비정규성을 예로 들어 보겠습니다.

  • 특정 매장에서 판매되는 수영복의 수는 계절에 따라 다릅니다.
  • 특정 지역에서 수확한 특정 과일의 양은 1년 중 대부분 0이지만 단기간 동안 매우 큽니다.
  • 기후 변화로 인해 연평균 기온이 변하고 있습니다.

상태와 대비되는 개념입니다.

정규화

#fundamentals

일반적으로 변수의 실제 값 범위를 다음과 같은 표준 값 범위로 변환하는 프로세스입니다.

  • -1에서 +1
  • 0:1
  • 정규 분포

예를 들어 특정 특성의 실제 값 범위가 800~2,400이라고 가정해 보겠습니다. 특성 추출의 일환으로, 실제 값을 -1에서 +1과 같은 표준 범위로 정규화할 수 있습니다.

정규화는 특성 추출에서 일반적인 작업입니다. 일반적으로 모델은 특성 벡터의 모든 숫자 특성이 거의 동일한 경우에 더 빠르게 학습하고 더 나은 예측을 생성합니다.

수치 데이터

#fundamentals

정수 또는 실수값으로 표현되는 특성 예를 들어 주택 평가 모델은 주택의 크기 (제곱피트 또는 제곱미터)를 수치 데이터로 나타낼 수 있습니다. 특성을 숫자 데이터로 나타내는 것은 특성 값이 라벨과 수학 관계를 맺음을 나타냅니다. 즉, 주택의 제곱미터 수는 주택 가치와 수학적 관계가 있을 수 있습니다.

모든 정수 데이터가 수치 데이터로 표현되어서는 안 됩니다. 예를 들어 일부 지역에서는 우편번호가 정수입니다. 하지만 정형 우편번호를 모델에서 숫자 데이터로 표현해서는 안 됩니다. 이는 20000의 우편번호가 10000 우편번호보다 두 배 (또는 절반)가 아니기 때문입니다. 또한, 우편번호는 부동산 가치와 상관관계가 있지만 우편번호가 20000인 부동산 값은 우편번호가 10000인 부동산 가치의 두 배라고 가정할 수 없습니다. 우편번호는 대신 범주형 데이터로 표현해야 합니다.

숫자 특성을 연속 특성이라고도 합니다.

O

오프라인

#fundamentals

정적의 동의어입니다.

오프라인 추론

#fundamentals

모델이 예측 배치를 생성한 후 이러한 예측을 캐시 (저장)하는 프로세스입니다. 그러면 앱이 모델을 다시 실행하는 대신 캐시에서 원하는 예측에 액세스할 수 있습니다.

예를 들어 4시간마다 일기예보(예측)를 생성하는 모델을 살펴보겠습니다. 각 모델이 실행된 후 시스템은 모든 로컬 일기 예보를 캐시합니다. 날씨 앱은 캐시에서 예보를 검색합니다.

오프라인 추론을 정적 추론이라고도 합니다.

온라인 추론과 대비되는 개념입니다.

원-핫 인코딩

#fundamentals

범주형 데이터를 벡터로 표현:

  • 요소 1개가 1로 설정되어 있습니다.
  • 다른 모든 요소는 0으로 설정됩니다.

원-핫 인코딩은 일반적으로 가능한 유한한 값 집합을 갖는 문자열이나 식별자를 나타내는 데 사용됩니다. 예를 들어 Scandinavia이라는 특정 범주형 특성이 가능한 값이 5개 있다고 가정해 보겠습니다.

  • "덴마크'
  • "스웨덴
  • 노르웨이
  • "핀란드'
  • "아이슬란드"

원-핫 인코딩은 5개의 값을 각각 다음과 같이 나타낼 수 있습니다.

국가 벡터
"덴마크' 1 0 0 0 0
"스웨덴 0 1 0 0 0
노르웨이 0 0 1 0 0
"핀란드' 0 0 0 1 0
"아이슬란드" 0 0 0 0 1

원-핫 인코딩 덕분에 모델은 5개 국가 각각에 기반하여 서로 다른 연결을 학습할 수 있습니다.

특성을 숫자 데이터로 표현하는 것은 원-핫 인코딩의 대안입니다. 안타깝게도 스칸디나비아 국가를 숫자로 나타내는 것은 좋지 않습니다. 다음과 같은 숫자 표현을 예로 들어보겠습니다.

  • "덴마크'가 0입니다.
  • "스웨덴'은 1입니다.
  • 노르웨이(2)
  • "핀란드': 3
  • 아이슬란드는 4입니다.

숫자 인코딩을 사용하면 모델이 원시 숫자를 수학적으로 해석하고 이 숫자를 학습하려고 시도합니다. 하지만 아이슬란드는 실제로 노르웨이에 비해 2배 (또는 절반)에 달하는 데이터가 아니므로 이상한 결론을 내릴 수 있습니다.

일대다

#fundamentals

N개의 클래스로 구성된 분류 문제를 감안할 때 가능한 각 결과에 대해 하나의 이진 분류기인 N개의 개별 이진 분류기로 구성된 해결책입니다. 예를 들어 예를 동물, 채소 또는 광물로 분류하는 모델의 경우, 일대다 솔루션은 다음과 같은 세 가지 이진 분류자를 제공합니다.

  • 동물 vs. 동물 아님
  • 채소 vs. 채소
  • 광물 vs. 광물

online

#fundamentals

동적의 동의어입니다.

온라인 추론

#fundamentals

주문형으로 예측 생성 예를 들어 앱이 모델에 입력을 전달하고 예측 요청을 한다고 가정해 보겠습니다. 온라인 추론을 사용하는 시스템은 모델을 실행하고 예측을 앱에 반환함으로써 요청에 응답합니다.

오프라인 추론과 대비되는 개념입니다.

출력 레이어

#fundamentals

신경망의 '최종' 레이어입니다. 출력 레이어에는 예측이 포함됩니다.

다음 그림은 입력 레이어, 히든 레이어 2개, 출력 레이어가 있는 작은 심층신경망을 보여줍니다.

입력 레이어 1개, 히든 레이어 2개, 출력 레이어 1개가 있는 신경망 입력 레이어는 두 가지 특성으로 구성됩니다. 첫 번째 히든 레이어는 세 개의 뉴런으로 구성되고 두 번째 히든 레이어는 두 개의 뉴런으로 구성됩니다. 출력 레이어는 단일 노드로 구성됩니다.

과적합

#fundamentals

학습 데이터와 매우 일치하는 모델을 너무 가깝게 만들어 모델이 새 데이터를 정확하게 예측하지 못합니다.

정규화는 과적합을 줄일 수 있습니다. 규모가 크고 다양한 학습 세트에서 학습하면 과적합을 줄일 수도 있습니다.

P

pandas

#fundamentals

numpy를 기반으로 빌드된 열 기반 데이터 분석 API TensorFlow를 포함한 많은 머신러닝 프레임워크는 Pandas 데이터 구조를 입력으로 지원합니다. 자세한 내용은 Pandas 문서를 참고하세요.

매개변수

#fundamentals

학습 중에 모델이 학습하는 가중치편향. 예를 들어 선형 회귀 모델에서는 매개변수가 다음 수식의 편향(b)과 모든 가중치(w1, w2 등)로 구성됩니다.

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

반면 초매개변수사용자(또는 초매개변수 변경 서비스)가 모델에 제공하는 값입니다. 예를 들어 학습률은 초매개변수입니다.

포지티브 클래스

#fundamentals

테스트 중인 클래스입니다.

예를 들어 암 모델의 포지티브 클래스는 'tumor'입니다. 이메일 분류기의 포지티브 클래스는 'spam'일 수 있습니다.

네거티브 클래스와 대비되는 개념입니다.

후처리

#fairness
#fundamentals

모델이 실행된 후에 모델의 출력을 조정합니다. 사후 처리를 사용하면 모델을 직접 수정하지 않고도 공정성 제약조건을 적용할 수 있습니다.

예를 들어 기회 균등이 일부 속성의 참양성률이 동일한지 확인하여 분류 임곗값을 설정하여 이 분류에 후처리를 적용할 수 있습니다.

예측

#fundamentals

모델의 출력입니다. 예를 들면 다음과 같습니다.

  • 이진 분류 모델의 예측은 포지티브 클래스 또는 네거티브 클래스입니다.
  • 다중 클래스 분류 모델의 예측은 하나의 클래스입니다.
  • 선형 회귀 모델의 예측은 숫자입니다.

프록시 라벨

#fundamentals

데이터 세트에서 직접 사용할 수 없는 라벨을 추정하는 데 사용되는 데이터입니다.

예를 들어 직원 스트레스 수준을 예측하도록 모델을 학습시켜야 한다고 가정해 보겠습니다. 데이터 세트에는 많은 예측 특성이 포함되어 있지만 스트레스 수준이라는 라벨이 포함되어 있지 않습니다. 당연한 말로, 여러분은 '직장 사고'를 스트레스 수준의 프록시 라벨로 선택합니다. 결국 스트레스가 높은 사람들은 차분한 직원보다 더 많은 사고를 당합니다. 또는 일치 여부 직장 사고가 실제로 증가하는 이유는 여러 가지가 있을 수 있습니다.

두 번째 예로서 is it raining?을 데이터 세트의 부울 라벨로 지정하고 싶지만 데이터 세트에 비가 포함되어 있지는 않다고 가정해 보겠습니다. 사용 가능한 사진이 있다면 우산을 들고 있는 사람의 사진을 비가 올까요?에 대한 프록시 라벨로 설정할 수 있습니다. 좋은 프록시 라벨인가요? 아마 그럴지도 모릅니다. 하지만 일부 문화에서는 비를 피하고 햇빛을 피하기 위해 우산을 들고 다닐 가능성이 더 큽니다.

프록시 라벨은 불완전한 경우가 많습니다. 가능하면 프록시 라벨 대신 실제 라벨을 선택하세요. 즉, 실제 라벨이 없는 경우 프록시 라벨을 매우 신중하게 선택하여 가장 덜 해로운 프록시 라벨 후보를 선택합니다.

R

평가자

#fundamentals

라벨을 제공하는 사람 "Annotator"는 평가자의 다른 이름입니다.

정류 선형 유닛 (ReLU)

#fundamentals

다음 동작이 포함된 활성화 함수

  • 입력이 음수 또는 0이면 출력은 0입니다.
  • 입력이 양수인 경우 출력은 입력과 같습니다.

예를 들면 다음과 같습니다.

  • 입력이 -3이면 출력은 0입니다.
  • 입력이 +3이면 출력은 3.0입니다.

다음은 ReLU 도표입니다.

두 선의 데카르트 도표 첫 번째 줄의 상수 y 값은 0이며 -infinity,0에서 0,-0까지 x축을 따라 실행됩니다.
          두 번째 줄은 0,0에서 시작합니다. 이 선은 기울기가 +1이므로 0,0에서 +무한대 +무한대까지 기울어집니다.

ReLU는 활성화 함수로 매우 유용합니다. 간단한 동작에도 불구하고 ReLU는 여전히 신경망이 특성라벨 간의 비선형 관계를 학습하도록 합니다.

회귀 모델

#fundamentals

비공식적으로 수치 예측을 생성하는 모델입니다. 반면에 분류 모델은 클래스 예측을 생성합니다. 예를 들어 다음은 모든 회귀 모델입니다.

  • 423,000유로와 같이 특정 주택의 가격을 예측하는 모델입니다.
  • 나무의 예상 수명(예: 23.2년)을 예측하는 모델입니다.
  • 향후 6시간 동안 특정 도시에 내릴 비의 양을 예측하는 모델입니다(예: 0.18인치).

일반적인 두 가지 회귀 모델 유형은 다음과 같습니다.

  • 선형 회귀 - 라벨 값에 가장 적합한 선을 찾습니다.
  • 로지스틱 회귀. 시스템이 일반적으로 클래스 예측에 매핑하는 0.0에서 1.0 사이의 확률을 생성합니다.

수치 예측을 출력하는 모든 모델이 회귀 모델이 아닙니다. 어떤 경우에는 숫자 예측이 실제로는 숫자 클래스 이름을 갖는 분류 모델일 뿐입니다. 예를 들어 우편번호를 예측하는 모델은 회귀 모델이 아니라 분류 모델입니다.

정규화

#fundamentals

과적합을 줄이는 모든 메커니즘 많이 사용되는 정규화 유형은 다음과 같습니다.

정규화는 모델의 복잡성에 대한 페널티로 정의할 수도 있습니다.

정규화율

#fundamentals

학습 중 정규화의 상대적 중요도를 지정하는 숫자입니다. 정규화율을 높이면 과적합이 줄어들지만 모델의 예측 성능이 저하될 수 있습니다. 반대로 정규화율을 낮추거나 생략하면 과적합이 증가합니다.

ReLU

#fundamentals

정류 선형 유닛의 약어입니다.

ROC (수신자 조작 특성) 곡선

#fundamentals

이진 분류의 여러 분류 기준에 대한 참양성률거짓양성률의 그래프입니다.

ROC 곡선 모양은 포지티브 클래스를 네거티브 클래스와 구분하는 바이너리 분류 모델 기능을 나타냅니다. 예를 들어 이진 분류 모델이 모든 네거티브 클래스를 모든 포지티브 클래스와 완벽하게 구분한다고 가정해 보겠습니다.

오른쪽에 8개의 양수 예, 왼쪽에 7개의 음수 예가 있는 숫자 선

이전 모델의 ROC 곡선은 다음과 같습니다.

ROC 곡선입니다. X축은 거짓양성률이고 Y축은 참양성률입니다. 곡선은 반전 L 모양입니다. 곡선은 (0.0,0.0)에서 시작해서 (0.0,1.0)까지 직선으로 뻗어나갑니다. 그러면 곡선이 (0.0,1.0)에서 (1.0,1.0)으로 바뀝니다.

반대로 다음 그림은 부정적인 클래스를 포지티브 클래스와 전혀 구분할 수 없는 좋지 않은 모델의 원시 로지스틱 회귀 값을 그래프로 보여줍니다.

포지티브 예제와 네거티브 클래스가 완전히 섞여 있는 숫자 줄

이 모델의 ROC 곡선은 다음과 같습니다.

(0.0,0.0)에서 (1.0,1.0)까지 직선인 ROC 곡선입니다.

한편 실제 환경에서 대부분의 이진 분류 모델은 포지티브 클래스와 네거티브 클래스를 어느 정도 분리하지만 일반적으로 완벽하지는 않습니다. 따라서 일반적인 ROC 곡선은 두 극단 사이에 위치합니다.

ROC 곡선입니다. X축은 거짓양성률이고 Y축은 참양성률입니다. ROC 곡선은 서쪽에서 북쪽으로의 나침반 포인트를 통과하는 흔들리는 원호의 근사치를 나타냅니다.

(0.0,1.0)에 가장 가까운 ROC 곡선의 점은 이론적으로 이상적인 분류 임곗값을 식별합니다. 그러나 몇 가지 다른 실제 문제가 이상적인 분류 임곗값 선택에 영향을 미칩니다. 예를 들어 거짓음성은 거짓양성보다 훨씬 더 큰 고통을 유발할 수 있습니다.

AUC라는 숫자 측정항목은 ROC 곡선을 단일 부동 소수점 값으로 요약합니다.

평균 제곱근 오차(RMSE)

#fundamentals

평균 제곱 오차의 제곱근입니다.

S

시그모이드 함수

#fundamentals

제한된 범위(일반적으로 0~1 또는 -1~+1)로 입력 값을 전달하는 수학적 함수입니다. 즉, 숫자 (2, 000,000, 음의 10억)를 시그모이드로 전달하면 출력이 여전히 제한된 범위에 있게 됩니다. 시그모이드 활성화 함수의 플롯은 다음과 같습니다.

도메인에 대해 x의 무한대와 +양성의 x값이 있는 2차원 곡선 차트. x가 0이면 y는 0.5입니다. 곡선의 기울기는 항상 양수이며, 가장 높은 경사는 0.0.5이고,x의 절댓값이 증가하면 경사가 서서히 감소합니다.

시그모이드 함수는 다음을 포함하여 머신러닝에서 여러 용도로 사용됩니다.

소프트맥스

#fundamentals

멀티클래스 분류 모델에서 가능한 각 클래스의 확률을 결정하는 함수입니다. 확률의 합은 정확히 1.0입니다. 예를 들어 다음 표는 소프트맥스가 다양한 확률을 배포하는 방법을 보여줍니다.

이미지... 확률
dog 0.85
cat 0.13
0.02

소프트맥스를 전체 소프트맥스라고도 합니다.

후보 샘플링과 대비되는 개념입니다.

희소 특성

#language
#fundamentals

값이 대부분 0이거나 비어 있는 특성 예를 들어 1개의 값과 0개의 값을 포함하는 특성은 희소합니다. 반면 밀집 특성은 주로 0이거나 비어 있지 않은 값을 갖습니다.

머신러닝에서는 희소 특성이 놀라울 정도로 많습니다. 일반적으로 희소 특성은 범주형 특성입니다. 예를 들어 숲에 있는 300개의 가능한 나무 종 중 하나의 예만 메이플 트리를 식별할 수 있습니다. 한 가지 예는 동영상 라이브러리에 있는 수백만 개의 동영상 중에서 '카사블랑카'를 식별할 수 있다는 의미입니다.

모델에서는 일반적으로 원-핫 인코딩으로 희소 특성을 표현합니다. 원-핫 인코딩이 큰 경우 효율성을 높이기 위해 원-핫 인코딩 위에 임베딩 레이어를 배치할 수 있습니다.

희소 표현

#language
#fundamentals

희소 특성에 0이 아닌 요소의 위치만 저장합니다.

예를 들어 species이라는 범주형 특성이 특정 포레스트의 36개 종을 식별한다고 가정해 보겠습니다. 또한 각 가 한 종만 식별한다고 가정합니다.

원-핫 벡터를 사용하여 각 예시에서 나무 종을 나타낼 수 있습니다. 원-핫 벡터는 단일 1(이 예에서는 특정 트리 종을 나타냄)와 35개의 0 (이 예에서는 아닌 35개의 종을 표현함)를 포함합니다. 따라서 maple의 원-핫 표현은 다음과 같습니다.

위치 0~23은 값 0을, 위치 24는 값 1을, 위치 25~35는 값 0을 포함하는 벡터입니다.

또는 희소 표현 방식으로도 특정 종의 위치를 단순히 식별할 수 있습니다. maple이 위치 24에 있으면 maple의 희소 표현은 다음과 같습니다.

24

희소 표현은 원-핫 표현보다 훨씬 간결합니다.

희소 벡터

#fundamentals

값이 대부분 0인 벡터입니다. 희소 특성희소성도 참고하세요.

제곱 손실

#fundamentals

L2 손실의 동의어입니다.

정적

#fundamentals

무언가가 지속적으로가 아니라 한 번 이루어집니다. 정적오프라인은 동의어입니다. 머신러닝에서 정적오프라인을 일반적으로 사용하는 사례는 다음과 같습니다.

  • 정적 모델 (또는 오프라인 모델)은 한 번 학습된 후 한동안 사용되는 모델입니다.
  • 정적 학습(또는 오프라인 학습)은 정적 모델을 학습하는 프로세스입니다.
  • 정적 추론 (또는 오프라인 추론)은 모델이 한 번에 일괄 예측을 생성하는 프로세스입니다.

동적과 대비되는 개념입니다.

정적 추론

#fundamentals

오프라인 추론의 동의어입니다.

정상성

#fundamentals

한 개 이상의 측정기준(보통 시간)에서 값이 변경되지 않는 특성입니다. 예를 들어 2020년과 2022년에 동일한 값을 갖는 특성은 정상성을 보입니다.

실제 세계에서 안정성을 보여주는 특성은 거의 없습니다. 안정성과 균일한 특성 (예: 해수면)도 시간이 지남에 따라 변경됩니다.

비전문성과 대비되는 개념입니다.

확률적 경사하강법 (SGD)

#fundamentals

경사하강법배치 크기가 1인 알고리즘입니다. 즉, SGD는 학습 세트에서 무작위로 균일하게 선택한 하나의 예를 학습합니다.

지도 머신러닝

#fundamentals

특성 및 해당 라벨모델 학습 지도 머신러닝은 질문과 그에 대한 정답을 학습하여 과목을 학습하는 것과 비슷합니다. 질문과 답변 간 매핑을 마스터한 후 학생은 같은 주제에 관한 새로운 (새로운 주제) 질문에 답변할 수 있습니다.

비지도 머신러닝과 비교해 보세요.

합성 특성

#fundamentals

입력 특성 중에는 없지만 하나 이상의 조합으로 조합된 특성입니다. 합성 특성을 만드는 메서드는 다음과 같습니다.

  • 연속 특성을 범위 구간으로 버케팅합니다.
  • 특성 교차를 만듭니다.
  • 하나의 특성 값에 다른 특성 값 또는 해당 특성 값을 곱하거나 나눕니다. 예를 들어 ab이 입력 특성인 경우 합성 특성의 예는 다음과 같습니다.
    • ab
    • a2
  • 특성 값에 초월 함수를 적용합니다. 예를 들어 c이 입력 특성인 경우 합성 특성의 예는 다음과 같습니다.
    • sin(c)
    • ln(c)

정규화확장만으로 생성된 특성은 합성 특성으로 간주되지 않습니다.

T

테스트 손실

#fundamentals

테스트 세트에 대한 모델의 손실을 나타내는 측정항목입니다. 모델을 빌드할 때는 일반적으로 테스트 손실을 최소화하려고 합니다. 이는 테스트 손실이 낮은 것이 학습 손실이 낮거나 검증 손실이 낮기 때문에 품질 신호가 더 강력하기 때문입니다.

테스트 손실과 학습 손실 또는 검증 손실 사이의 간극이 크면 정규화율을 높여야 하는 경우가 있습니다.

학습

#fundamentals

모델을 구성하는 이상적인 매개변수(가중치 및 편향)를 결정하는 프로세스입니다. 학습 중에 시스템은 예시를 읽고 점진적으로 매개변수를 조정합니다. 학습은 각 예시를 몇 번에서 수십억 번까지 사용합니다.

학습 손실

#fundamentals

특정 학습 반복 중 모델의 손실을 나타내는 측정항목입니다. 예를 들어 손실 함수가 평균 제곱 오차라고 가정해 보겠습니다. 아마도 10번째 반복의 학습 손실 (평균 제곱 오차)은 2.2이고 100번째 반복의 학습 손실은 1.9일 것입니다.

손실 곡선은 학습 손실과 반복 횟수를 비교하여 보여줍니다. 손실 곡선은 학습에 대해 다음과 같은 힌트를 제공합니다.

  • 경사가 하향 곡선이면 모델이 개선되고 있음을 의미합니다.
  • 상승하는 기울기는 모델이 점점 나빠지고 있음을 의미합니다.
  • 기울기가 평평하면 모델이 수렴에 도달했음을 의미합니다.

예를 들어 다음과 같은 이상적인 손실 곡선은 다음과 같습니다.

  • 초기 반복 중에 하강하는 가파른 경사로 즉, 빠르게 모델을 개선할 수 있다는 의미입니다.
  • 학습이 끝날 때까지 점차 기울어지지만 여전히 아래쪽으로 기울어져 있으며, 이는 초기 반복 단계에서 다소 느린 속도로 모델이 지속적으로 개선되었음을 의미합니다.
  • 학습의 끝을 향해 기울어지는 형태는 수렴임을 나타냅니다.

학습 손실과 반복을 비교한 도표 이 손실 곡선은
     가파른 하강으로 시작합니다. 경사가 0이 될 때까지
 점차 기울어집니다.

학습 손실도 중요하지만 일반화도 참고하세요.

학습-제공 편향

#fundamentals

학습 도중의 모델 성능과 서빙 중에 동일한 모델의 성능 간의 차이

학습 세트

#fundamentals

모델을 학습시키는 데 사용되는 데이터 세트의 하위 집합입니다.

기본적으로 데이터 세트의 예는 다음과 같은 세 가지 개별 하위 집합으로 나뉩니다.

데이터 세트의 각 예시는 앞의 하위 집합에만 속하는 것이 좋습니다. 예를 들어 하나의 예가 학습 세트와 검증 세트에 모두 속해서는 안 됩니다.

참음성 (TN)

#fundamentals

모델이 네거티브 클래스올바르게 예측하는 예시입니다. 예를 들어 이 모델은 특정 이메일 메시지가 스팸이 아니며 이 메시지가 실제로 스팸이 아님이라고 추론합니다.

참양성 (TP)

#fundamentals

모델이 포지티브 클래스올바르게 예측하는 예시입니다. 예를 들어 이 모델은 특정 이메일 메시지가 스팸이라고 추론하며 해당 이메일 메시지가 실제로 스팸이라고 추론합니다.

참양성률 (TPR)

#fundamentals

재현율의 동의어입니다. 이는 다음과 같은 의미입니다.

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

참양성률은 ROC 곡선의 y축입니다.

U

과소적합

#fundamentals

모델이 학습 데이터의 복잡성을 완전히 캡처하지 못했기 때문에 예측 성능이 낮은 모델을 생성합니다. 다음과 같은 여러 가지 문제로 인해 과소적합이 발생할 수 있습니다.

라벨이 없는 예

#fundamentals

특성은 있지만 라벨은 없는 예입니다. 예를 들어 다음 표는 주택 평가 모델의 라벨이 없는 세 가지 예를 보여 줍니다. 각 예시에는 특성이 3개 있지만 주택 값은 없습니다.

침실 수 욕실 수 주택 연식
3 2 15
2 1 72
4 2 34

지도 머신러닝에서 모델은 라벨이 있는 예를 학습하고 라벨이 없는 예를 기반으로 예측합니다.

준지도비지도 학습에서는 학습 중에 라벨이 지정되지 않은 예가 사용됩니다.

라벨이 없는 예와 라벨이 있는 예를 비교합니다.

비지도 머신러닝

#clustering
#fundamentals

일반적으로 라벨이 없는 데이터 세트에서 패턴을 찾도록 모델을 학습시킵니다.

비지도 머신러닝의 가장 일반적인 용도는 데이터를 비슷한 예시 그룹으로 클러스터링하는 것입니다. 예를 들어 비지도 머신러닝 알고리즘은 음악의 다양한 속성을 기반으로 노래를 클러스터링할 수 있습니다. 이렇게 얻은 클러스터는 다른 머신러닝 알고리즘 (예: 음악 추천 서비스)에 대한 입력이 될 수 있습니다. 클러스터링은 유용한 라벨이 부족하거나 없을 때 유용합니다. 예를 들어 악용 방지 및 사기와 같은 분야에서 클러스터는 사람이 데이터를 더 잘 이해하는 데 도움이 될 수 있습니다.

지도 머신러닝과 대비되는 개념입니다.

V

검증

#fundamentals

모델의 품질에 대한 초기 평가입니다. 검증은 검증 세트와 비교하여 모델의 예측 품질을 확인합니다.

검증 세트는 학습 세트와 다르므로 과적합을 방지하는 데 도움이 됩니다.

검증 세트에 대한 모델 평가는 1차 테스트로, 테스트 세트는 2차 테스트로 평가한다고 생각하면 됩니다.

유효성 검사 손실

#fundamentals

특정 학습 중에 검증 세트에서 모델의 손실을 나타내는 측정항목.

일반화 곡선도 참고하세요.

검증 세트

#fundamentals

학습된 모델에 대해 초기 평가를 수행하는 데이터 세트의 하위 집합입니다. 일반적으로 검증 세트에 대해 학습된 모델을 여러 번 평가한 후에 테스트 세트를 기준으로 모델을 평가합니다.

일반적으로 데이터 세트의 예시를 다음 세 가지 개별 하위 집합으로 나눕니다.

데이터 세트의 각 예시는 앞의 하위 집합에만 속하는 것이 좋습니다. 예를 들어 하나의 예가 학습 세트와 검증 세트에 모두 속해서는 안 됩니다.

W

weight

#fundamentals

모델이 다른 값을 곱하는 값입니다. 학습은 모델의 이상적인 가중치를 결정하는 프로세스입니다. 추론은 학습된 가중치를 사용하여 예측을 수행하는 프로세스입니다.

가중치가 적용된 합계

#fundamentals

모든 관련 입력 값의 합계에 해당하는 가중치를 곱합니다. 예를 들어, 관련 입력이 다음과 같이 구성되어 있다고 가정해 보겠습니다.

입력 값 입력 가중치
2 -1.3
-1 0.6
3 0.4

따라서 가중치가 적용된 합계는 다음과 같습니다.

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

가중치가 적용된 합계는 활성화 함수의 입력 인수입니다.

Z

Z 점수 정규화

#fundamentals

원시 특성 값을 해당 특성 평균의 표준 편차 수를 나타내는 부동 소수점 값으로 대체하는 확장 기법입니다. 예를 들어 평균이 800이고 표준 편차가 100인 특성을 가정해 보겠습니다. 다음 표는 Z 점수 정규화에서 원시 값을 Z 점수에 매핑하는 방법을 보여줍니다.

원본 값 Z 점수
800 0
950 1.5명 이상
575 -2.25

그러면 머신러닝 모델은 원시 값 대신 해당 특성의 Z 점수를 기반으로 학습합니다.