プラットフォーム固有のガイド
Android（Kotlin/Java）
Android NDK（C）
iOS
Unity（AR Foundation）
Scene Semantics API を使用すると、デベロッパーはユーザーの周囲のシーンを理解できます。これは、多くの高品質の AR エクスペリエンスに必要です。ML モデルに基づいて構築された Scene Semantics API は、リアルタイムのセマンティック情報を提供します。これは ARCore の既存のジオメトリ情報を補完します。
屋外のシーンの画像を基に、API は空、建物、木、道路、歩道、車両、人など、一連の有用なセマンティック クラスから各ピクセルのラベルを返します。ピクセルラベルに加えて、Scene Semantics API は各ピクセルラベルの信頼値と、屋外シーンにおける特定のラベルの占有率を簡単にクエリする方法も提供します。
左から順に、入力画像の例、ピクセルラベルのセマンティック画像、対応する信頼度画像を示しています。
Scene Semantics API を使用すると、開発者は特定のシーン コンポーネント（見慣れない街を案内する道路や歩道、動的なオブジェクトにオクルージョンをレンダリングする人や車両、いつでも夕日を作成する空、外観を変更して仮想オブジェクトを固定する建物など）を識別できます。
セマンティック ラベルと品質
Scene Semantics API では複数のラベルが提供され、それぞれが対応する品質や信頼性を持っています。一般に、ML モデルは、より小さく、よりレアなオブジェクト/サーフェスのクラスよりも、より大きくて一般的なオブジェクト/サーフェスのクラスをより適切に予測できます。クラスは、次の品質階層に高い順にグループ化できます。
| セマンティック ラベルの品質の階層 | |
|---|---|
| メインシーンのコンポーネント |
|
| 主なシーンの詳細 |
|
| シーンの詳細 |
|
デバイスの互換性
Scene Semantics API は、Depth API と同じサポート対象デバイスリストを共有しています。両方の API をサポートするデバイスの最新リストについては、ARCore 対応デバイスのページをご覧ください。
サポートされるユースケース
Scene Semantics API は、次のシナリオで使用するように設計されています。
屋外シーン: 屋外シーンのみをサポートします。屋内での使用は想定していません。
縦向き: デバイスのデフォルトの向きモード（縦向き）でのみ使用します。セマンティック ラベルの品質は横表示では保証されません。