Scene Semantics API로 사용자 환경 이해

플랫폼별 가이드

장면 시맨틱스

Scene Semantics API를 사용하면 개발자가 사용자 주변의 장면을 이해할 수 있습니다. 이는 많은 고품질 AR 환경에 필요합니다. ML 모델을 기반으로 하는 Scene Semantics API는 ARCore의 기존 기하학적 정보를 보완하는 실시간 시맨틱 정보를 제공합니다.

실외 장면의 이미지가 주어지면 API는 하늘, 건물, 나무, 도로, 보도, 차량, 사람 등 유용한 시맨틱 클래스 집합에서 각 픽셀의 라벨을 반환합니다. 픽셀 라벨 외에도 Scene Semantics API는 각 픽셀 라벨의 신뢰도 값과 실외 장면에서 특정 라벨의 발생률을 쿼리하는 사용하기 쉬운 방법을 제공합니다.

왼쪽에서 오른쪽으로 입력 이미지, 픽셀 라벨의 시맨틱 이미지, 상응하는 신뢰도 이미지의 예는 다음과 같습니다.

시맨틱 이미지의 예

Scene Semantics API를 사용하면 개발자가 도로 및 보도와 같은 특정 장면 구성요소를 식별하여 사용자가 익숙하지 않은 도시를 안내하고, 사람과 차량을 식별하여 동적 객체에 폐색을 렌더링하고, 하늘을 식별하여 하루 중 언제든지 일몰을 만들고, 건물을 식별하여 모양을 수정하고 가상 객체를 고정할 수 있습니다.

시맨틱 라벨 및 품질

Scene Semantics API는 각각 상응하는 품질 또는 신뢰도를 갖는 여러 라벨을 제공합니다. 일반적으로 ML 모델은 더 작거나 더 드문 객체/표면의 클래스보다 더 크고 더 일반적인 객체/표면의 클래스를 더 잘 예측할 수 있습니다. 클래스는 품질 단계로 그룹화할 수 있으며, 품질 단계는 높음에서 낮음 순으로 순위가 지정됩니다.

시맨틱 라벨 품질 단계
기본 장면 구성요소
  • 하늘
  • 건물
  • 나무
  • 도로
  • 차량
주요 장면 세부정보
  • 보도
  • 지형
  • 구조
  • 물
부 장면 세부정보
  • 객체
  • 사람

기기 호환성

Scene Semantics API는 Depth API와 동일한 지원되는 기기 목록을 공유합니다. 두 API를 모두 지원하는 기기의 최신 목록은 ARCore 지원되는 기기 페이지를 참고하세요.

지원되는 사용 사례

Scene Semantics API는 다음 시나리오에서 사용하도록 설계되었습니다.

  1. 실외 장면: 실외 장면만 지원하며 실내 사용 사례에는 적합하지 않습니다.

  2. 세로 방향: 기기의 기본 방향 모드 (즉, 세로)에서만 사용해야 합니다. 가로 모드에서는 시맨틱 라벨의 품질이 보장되지 않습니다.