Scene Semantics API によるユーザーの環境把握

プラットフォーム固有のガイド

シーンのセマンティクス

Scene Semantics API を使用すると、デベロッパーはユーザーの周囲のシーンを把握できます。これは、多くの高品質な AR エクスペリエンスで必要となるものです。ML モデルに基づいて構築された Scene Semantics API は、ARCore の既存のジオメトリ情報を補完するリアルタイムのセマンティック情報を提供します。

屋外のシーンの画像が指定されると、API は空、建物、木、道路、歩道、車両、人物など、一連の有用なセマンティック クラスにわたって各ピクセルのラベルを返します。Scene Semantics API では、ピクセルラベルに加えて、各ピクセルラベルの信頼値も提供されます。また、屋外シーンにおける特定のラベルの普及率を簡単にクエリする方法も提供されます。

左から右に、入力画像、ピクセルラベルのセマンティック画像、対応する信頼度画像の例を示します。

セマンティック画像の例

Scene Semantics API を使用すると、デベロッパーは道路や歩道などの特定のシーン コンポーネントを識別して、ユーザーが初めて訪れる街を案内したり、人物や車両を識別して動的オブジェクトのオクルージョンをレンダリングしたり、空を識別して一日のうちの任意の時間に夕焼けを作成したり、建物を識別して外観を変更したり、仮想オブジェクトをアンカーしたりできます。

セマンティック ラベルと品質

Scene Semantics API は、それぞれに対応する品質または信頼性を持つ複数のラベルを提供します。一般に、ML モデルは、小さくまれなオブジェクトやサーフェスのクラスよりも、大きく一般的なオブジェクトやサーフェスのクラスをより正確に予測できます。クラスは、次の品質階層にグループ化できます（上位から下位の順）。

セマンティック ラベルの品質レベル
メインシーンのコンポーネント
  • 空
  • 建物
  • 木
  • road
  • 車両
主要なシーンの詳細
  • 歩道
  • 地形
  • 構造
  • 水
マイナーなシーンの詳細
  • オブジェクト
  • person

デバイスの互換性

Scene Semantics API は、Depth API と同じサポート対象デバイスのリストを共有します。両方の API をサポートするデバイスの最新のリストについては、ARCore 対応デバイスのページをご覧ください。

サポートされるユースケース

Scene Semantics API は、次のシナリオで使用するように設計されています。

  1. 屋外のシーン: 屋外のシーンのみをサポートし、屋内のユースケースは想定されていません。

  2. 縦向き: デバイスのデフォルトの向きモード（縦向き）でのみ使用する必要があります。横表示では、セマンティック ラベルの品質は保証されません。