선형 회귀: 경사하강법 연습

이 연습에서는 매개변수 연습의 연비 데이터 그래프를 다시 살펴봅니다. 이번에는 경사하강법을 사용하여 손실을 최소화하는 선형 모델의 최적 가중치와 편향 값을 학습합니다.

그래프 아래의 세 가지 작업을 완료합니다.

이 대화형 시각화는 학습률이 높게 설정된 경우 깜박이는 시각적 요소를 생성할 수 있으며, 이는 광과민성 개인에게 영향을 미칠 수 있습니다.

작업 1: 그래프 아래의 학습률 슬라이더를 조정하여 학습률을 0.03으로 설정합니다. 시작 버튼을 클릭하여 경사 하강법을 실행합니다.

모델 학습이 수렴 (안정적인 최소 손실 값에 도달)하는 데 얼마나 걸리나요? 모델 수렴 시 MSE 값은 얼마인가요? 어떤 가중치와 편향 값이 이 값을 생성하나요?

더하기 아이콘을 클릭하여 솔루션을 확인하세요.

학습률을 0.03으로 설정하면 모델이 약 30초 만에 수렴되어 가중치와 편향 값이 각각 -1.14와 20.389인 MSE 2.67을 달성했습니다. 이는 적절한 학습률 값을 선택했음을 나타냅니다.

작업 2: 그래프 아래의 재설정 버튼을 클릭하여 그래프의 가중치 및 편향 값을 재설정합니다. 학습률 슬라이더를 1.10e^–5 근처의 값으로 조정합니다. 시작 버튼을 클릭하여 경사 하강법을 실행합니다.

이번에 모델 학습이 수렴하는 데 걸리는 시간에 대해 무엇을 알 수 있나요?

더하기 아이콘을 클릭하여 솔루션을 확인하세요.

몇 분이 지나도 모델 학습이 수렴되지 않습니다. 가중치 및 편향 값의 작은 업데이트로 인해 손실 값이 약간 낮아집니다. 이는 학습률을 높이면 경사 하강법이 최적의 가중치와 편향 값을 더 빠르게 찾을 수 있음을 시사합니다.

작업 3: 그래프 아래에 있는 재설정 버튼을 클릭하여 그래프의 가중치 및 편향 값을 재설정합니다. 학습률 슬라이더를 1까지 조정합니다. 시작 버튼을 클릭하여 경사 하강법을 실행합니다.

경사하강법이 실행되면 손실 값은 어떻게 되나요? 이번에는 모델 학습이 수렴하는 데 얼마나 걸릴까요?

더하기 아이콘을 클릭하여 솔루션을 확인하세요.

손실 값이 높은 값 (MSE 300 이상)에서 크게 변동합니다. 이는 학습률이 너무 높아서 모델 학습이 수렴에 도달하지 못함을 나타냅니다.