손실 줄이기: 반복 방식

이전 모듈에서는 손실의 개념을 소개했습니다. 이 모듈에서는 머신러닝 모델이 반복을 통해 어떻게 손실을 줄이는지 알아보겠습니다.

반복 학습은 골무와 같이 숨겨진 물건을 찾는 아이들 놀이인 '핫 앤 콜드'와 비슷합니다. 이 놀이에서 '숨겨진 물건'은 최적 모델이 됩니다. 처음에는 임의의 지점에서 시작해서('\(w_1\)의 값은 0') 시스템이 손실 값을 알려줄 때까지 기다립니다. 그런 다음 다른 값을 추정해서('\(w_1\)의 값은 0.5') 손실 값을 확인합니다. 좋습니다, 가까워지고 있군요. 사실 이런 놀이는 제대로만 하면 점점 가까워지게 되어 있습니다. 이 게임의 진짜 요령은 최적의 모델을 가능한 한 가장 효율적으로 찾는 것입니다.

다음 그림은 머신러닝 알고리즘이 모델을 학습하는 데 사용하는 반복적인 시행착오 과정을 보여줍니다.

특성과 라벨에서 모델과 예측으로 이동하는 주기입니다.

그림 1. 반복 방식의 모델 학습입니다.

머신러닝 단기집중과정 전반에서 이러한 반복 접근방식을 사용하여 다양한 복합적 상황, 특히 파란 먹구름 안의 상황에 관해 자세히 설명하겠습니다. 반복 전략은 주로 대규모 데이터 세트에 적용하기 용이하여 머신러닝에서 널리 사용되고 있습니다.

이 '모델'은 하나 이상의 특성을 입력하여 하나의 예측(y')을 출력합니다. 쉬운 이해를 위해, 하나의 특성을 가지고 하나의 예측을 반환하는 모델을 생각해 보겠습니다.

$$ y' = b + w_1x_1 $$

\(b\)와 \(w_1\)의 초기값은 무엇으로 설정해야 할까요? 선형 회귀 문제에서는 초기값이 별로 중요하지 않습니다. 임의의 값을 정해도 되지만 일단은 다음 값을 사용하겠습니다.

  • \(b\) = 0
  • \(w_1\) = 0

최초 특성 값이 10이라고 가정하겠습니다. 이 특성 값을 예측 함수에 입력하면 다음과 같이 출력됩니다.

  y' = 0 + 0(10)
  y' = 0

위의 다이어그램에서 '손실 계산' 과정은 이 모델에서 사용할 손실 함수입니다. 제곱 손실 함수를 사용한다고 가정해보세요. 손실 함수는 두 개의 입력 값을 취합니다.

  • y': 특성 x에 대한 모델의 예측 값입니다.
  • y: 특성 x에 대한 올바른 라벨입니다.

마침내 다이어그램의 '매개변수 업데이트 계산' 과정에 도달했습니다. 이 지점에서 머신러닝 시스템은 손실 함수의 값을 검토하여 \(b\)와 \(w_1\)의 새로운 값을 생성합니다. 일단은 저 알 수 없는 녹색 상자에서 새로운 값을 만든 다음 머신러닝 시스템이 이러한 모든 특성을 모든 라벨과 대조하여 재평가하여 손실 함수의 새로운 값을 생성하여 새 매개변수 값을 출력한다고 가정하겠습니다. 그런 다음 알고리즘이 손실 값이 가장 낮은 모델 매개변수를 발견할 때까지 반복 학습합니다. 보통 전체 손실이 변하지 않거나 매우 느리게 변할 때까지 계속 반복합니다. 이때 모델이 수렴했다고 말합니다.