다중 클래스 신경망

앞서 다음과 같이 가능한 항목 중 하나를 선택할 수 있는 이진 분류 모델을 알아보았습니다.

  • 주어진 이메일이 스팸 또는 스팸이 아님
  • 주어진 종양이 악성 또는 양성임

이 모듈에서는 여러 가능한 항목 중에서 선택할 수 있는 다중 클래스 분류를 살펴보겠습니다. 예:

  • 이 개는 비글인가요, 바셋하운드인가요, 아니면 블러드하운드인가요?
  • 이 꽃은 시베리안 아이리스인가요, 더치 아이리스인가요, 블루 플래그 아이리스인가요, 아니면 드워프 비어디드 아이리스인가요?
  • 이 비행기는 보잉 747인가요, 에어버스 320인가요, 보잉 777인가요, 아니면 엠브라에르 190인가요?
  • 이 이미지는 사과, 곰, 사탕, 개, 계란 중 무엇의 이미지인가요?

실제로 수백만 개의 클래스 중에서 선택해야 하는 다중 클래스 문제도 있습니다. 예를 들어 거의 모든 것의 이미지를 식별할 수 있는 다중 클래스 분류 모델을 생각해보세요.

다중 클래스 신경망

  • 로지스틱 회귀는 이진 클래스 문제에 유용한 확률을 제공합니다.
    • 스팸/스팸 아님
    • 클릭/클릭 안함
  • 다중 클래스 문제는 어떤가요?
    • 사과, 바나나, 자동차, 심장병 전문의, ..., 보행 신호, 얼룩말, 동물원
    • 빨간색, 주황색, 노란색, 녹색, 파란색, 남색, 보라색
    • 동물, 식물, 광물
  • 각각의 가능한 클래스의 고유한 출력을 만듭니다.
  • '내 클래스' 대 '다른 모든 클래스'의 신호에 대해 학습합니다.
  • 심층망에서나 별도의 모델을 사용하여 실행할 수 있습니다.
히든 레이어 다섯 개와 출력 레이어 다섯 개가 있는 신경망
  • 제약조건 추가: 모든 일대다 노드의 합이 1.0이 되어야 합니다.
  • 추가 제약조건은 빠르게 수렴을 학습하는 데 도움이 됩니다.
  • 또한 출력을 확률로 해석할 수 있습니다.
입력 레이어 하나, 별 특징이 없는 히든 레이어 두 개, 소프트맥스 레이어 하나, 노드 수가 소프트맥스 레이어와 같은 출력 레이어 하나가 포함된 심층 신경망
  • 다중 클래스, 단일 라벨 분류:
    • 하나의 예는 한 클래스만의 멤버가 될 수 있습니다.
    • 클래스가 상호 배타적인 제약조건이 유용한 구조입니다.
    • 손실에서 인코딩하는 데 유용합니다.
    • 모든 가능한 클래스에 하나의 소프트맥스 손실을 사용합니다.
  • 다중 클래스, 다중 라벨 분류:
    • 하나의 예가 두 개 이상의 클래스의 멤버가 될 수 있습니다.
    • 클래스 멤버에 추가로 적용되는 제약조건이 없습니다.
    • 각각의 가능한 클래스에 하나의 로지스틱 회귀 손실이 있습니다.
  • 전체 소프트맥스
    • 무차별 대입. 모든 클래스에 관해 계산합니다.
  • 전체 소프트맥스
    • 무차별 대입. 모든 클래스에 관해 계산합니다.
  • 후보 샘플링
    • 모든 양성 라벨에 대해 계산하지만 음성 라벨의 무작위 샘플에 대해서만 계산합니다.