신경망 학습

역전파는 신경망의 가장 일반적인 학습 알고리즘입니다. 다층 신경망에서 경사하강법을 사용할 수 있게 해줍니다. TensorFlow는 역전파를 자동으로 처리하므로 알고리즘을 깊이 이해할 필요는 없습니다. 이 알고리즘의 작동 방식을 알아보려면 역전파 알고리즘 시각적 설명을 참조하세요. 위 설명을 스크롤하다 보면 다음 사항에 주목하세요.

  • 데이터가 그래프를 통해 이동하는 방식
  • 동적 프로그래밍을 통해 기하급수적으로 증가하는 그래프 통과 경로를 계산할 필요가 없는 이유 여기서 '동적 프로그래밍'은 정방향 및 역방향 전달에서 중간 결과를 기록함을 의미합니다.

신경망 학습

  • 경사의 중요성
    • 미분할 수 있다면 아마도 학습이 가능할 것입니다.
  • 경사의 중요성
    • 미분할 수 있다면 아마도 학습이 가능할 것입니다.
  • 경사의 소실 가능성
    • 레이어를 추가할수록 신호와 노이즈가 연속적으로 감소할 수 있음
    • ReLus가 유용함
  • 경사의 중요성
    • 미분할 수 있다면 아마도 학습이 가능할 것입니다.
  • 경사의 소실 가능성
    • 레이어를 추가할수록 신호와 노이즈가 연속적으로 감소할 수 있음
    • ReLus가 유용함
  • 그래디언트의 발산 가능성
    • 학습률의 중요성
    • 배치 정규화(유용한 노브)로 해결 가능
  • 경사의 중요성
    • 미분할 수 있다면 아마도 학습이 가능할 것입니다.
  • 경사의 소실 가능성
    • 레이어를 추가할수록 신호와 노이즈가 연속적으로 감소할 수 있음
    • ReLus가 유용함
  • 그래디언트의 발산 가능성
    • 학습률의 중요성
    • 배치 정규화(유용한 노브)로 해결 가능
  • ReLu 레이어의 소멸 가능성
    • 침착함을 유지하고 학습률을 낮춥니다.
  • 특성에 적절한 배율을 지정하고 싶습니다.
    • 대부분 0에 중심을 두고 [-1, 1] 범위가 잘 작동합니다.
    • 경사하강법의 수렴, NaN 트랩 방지
    • 이상점 값을 피하는 것도 도움이 됨
  • 몇 가지 표준 메서드를 사용할 수 있습니다.
    • 선형 조정
    • 최대값, 최소값 강제 제한(클리핑)
    • 로그 조정
  • 드롭아웃: 또 다른 형태의 정규화, NN에 유용
  • 단일 경사 스텝에서 네트워크의 유닛을 무작위로 '배제'하는 방식으로 작동
    • 앙상블 모델과의 연관성이 있습니다.
  • 드롭아웃이 많을수록 정규화가 강력해짐
    • 0.0 = 드롭아웃 정규화 없음
    • 1.0 = 전부 드롭아웃! 아무것도 학습하지 않음
    • 중간 값이 더 유용함
이전
프로그래밍 실습
다음
권장사항