透過 Scene Semantics API 瞭解使用者環境's 環境

平台專屬指南

場景語意

開發人員可透過 Scene Semantics API 瞭解使用者周圍的場景，這是許多優質 AR 體驗的必要條件。場景語意 API 以機器學習模型為基礎，可提供即時語意資訊，補足 ARCore 現有的幾何資訊。

只要提供戶外場景的圖片，API 就會針對一組實用的語意類別 (例如天空、建築物、樹木、道路、人行道、車輛、人物等) 中的每個像素傳回標籤。除了像素標籤，Scene Semantics API 也提供每個像素標籤的信心值，並提供簡單易用的方式，查詢特定標籤在室外場景中的普及度。

從左到右依序為輸入圖片、像素標籤的語意圖片，以及對應的信賴度圖片：

語意圖片範例

開發人員可透過場景語意 API 識別特定場景元件，例如道路和人行道，協助使用者在不熟悉的城市中導覽；人物和車輛，在動態物體上算繪遮蔽效果；天空，在一天中的任何時間建立日落效果；以及建築物，修改外觀並錨定虛擬物體。

語意標籤和品質

場景語意 API 會提供多個標籤，每個標籤都有對應的品質或可靠性。一般來說，機器學習模型較能預測較大或較常見的物體/表面類別，而非較小或較罕見的物體/表面類別。這些類別可分組為下列品質等級 (由高至低)：

語意標籤品質等級
主要場景元件
  • 天空
  • 建築物
  • 樹
  • 道路
  • 交通工具
主要場景詳細資料
  • 人行道
  • 地形
  • 結構
  • 水
次要場景詳細資料
  • 物件
  • 使用者圖示

裝置相容性

場景語意 API 支援的裝置與 Depth API 相同。如要查看支援這兩項 API 的最新裝置清單，請參閱 ARCore 支援的裝置頁面。

支援的用途

場景語意 API 適用於下列情境：

  1. 戶外場景：僅支援戶外場景，不適用於室內用途。

  2. 直向：只能在裝置的預設螢幕方向模式 (即直向) 中使用。在橫向模式下，我們無法保證語意標籤的品質。