Scene Semantics API を使用してユーザーの環境を理解する

プラットフォーム固有のガイド

Android（Kotlin/Java）

• Android SDK 上のユーザーの環境を理解する（Kotlin/Java）

Android NDK（C）

• Android SDK（C）上のユーザーの環境について

Unity（AR Foundation）

• Unity（AR 基盤）上のユーザー環境を理解する

Scene Semantics API を使用すると、デベロッパーは高品質の AR エクスペリエンスの多くで必要となる、ユーザーを取り巻くシーンを理解できます。ML モデル上に構築された Scene Semantics API は、リアルタイムの意味論的情報を提供するもので、ARCore 内の既存のジオメトリ情報を補完します。

空、建物の、木、道路、歩道、車両、人物など、一連の有用なセマンティック クラスを通じて、API は屋外のシーンの画像に対し各ピクセルのラベルを返します。Scene Semantics API では、ピクセルラベルに加えて、各ピクセルラベルの信頼値と、屋外シーンでの特定のラベルの普及率を簡単にクエリできる方法も提供されます。

左から、入力画像、ピクセルラベルのセマンティック画像、対応する信頼画像の例（左から順に）

デベロッパーは、Scene Semantics API を使用して、なじみのない都市や、動く物にオクルージョンをレンダリングする人や車両、1 日のうちの夕暮れを作るための車、外観を変更したり、仮想オブジェクトを固定したりするための建物など、道路や歩道など、特定のシーン コンポーネントを特定できます。

セマンティック ラベルと品質

Scene Semantics API には、それぞれ対応する品質や信頼性を持つ複数のラベルがあります。一般的に、ML モデルでは、小さくてまれなオブジェクト/サーフェスのクラスよりも、大きくて一般的なオブジェクト/サーフェスのクラスをより正確に予測できます。クラスは、以下の品質階層（上位から下位にランク付け）にグループ化できます。

セマンティック ラベルの品質階層
メインシーンのコンポーネント	sky ビルドしています 木 road 車両
主なシーンの詳細	歩道 地形 構造 水
軽微なシーンの詳細	オブジェクト 人

デバイスの互換性

Scene Semantics API は、Depth API と同じ対応デバイスのリストを共有します。両方の API をサポートするデバイスの最新リストについては、ARCore 対応デバイスのページをご覧ください。

サポートされるユースケース

Scene Semantics API は、次のシナリオで使用するように設計されています。

1. 屋外シーン: 屋外シーンのみをサポートし、屋内のユースケースは想定していません。

2. 縦向き: デバイスのデフォルトの向き（縦向き）でのみ使用します。セマンティック ラベルの品質は横表示では保証されません。

3. Android: Scene Semantics API は現在、Android でのみご利用いただけます。