Die Umgebung des Nutzers mit der Scene Semantics API verstehen

Plattformspezifische Leitfäden

Szenensemantik

Mit der Scene Semantics API können Entwickler die Umgebung des Nutzers verstehen. Das ist für viele hochwertige AR-Erlebnisse erforderlich. Die Scene Semantics API basiert auf einem ML-Modell und liefert semantische Informationen in Echtzeit, die die vorhandenen geometrischen Informationen in ARCore ergänzen.

Bei einem Bild einer Außenszene gibt die API ein Label für jedes Pixel in einer Reihe nützlicher semantischer Klassen zurück, z. B. Himmel, Gebäude, Baum, Straße, Bürgersteig, Fahrzeug und Person. Neben Pixellabels bietet die Scene Semantics API auch Konfidenzwerte für jedes Pixellabel und eine benutzerfreundliche Möglichkeit, die Häufigkeit eines bestimmten Labels in einer Außenszene abzufragen.

Von links nach rechts: Beispiele für ein Eingabebild, das semantische Bild der Pixellabels und das entsprechende Konfidenzbild:

Beispiel für semantische Bilder

Mit der Scene Semantics API können Entwickler bestimmte Szenenkomponenten identifizieren, z. B. Straßen und Bürgersteige, um Nutzer durch eine unbekannte Stadt zu führen, Personen und Fahrzeuge, um Verdeckungen auf dynamischen Objekten zu rendern, den Himmel, um zu jeder Tageszeit einen Sonnenuntergang zu erstellen, und Gebäude, um ihr Aussehen zu ändern und virtuelle Objekte zu verankern.

Semantische Labels und Qualität

Die Scene Semantics API bietet mehrere Labels, die jeweils eine entsprechende Qualität oder Zuverlässigkeit haben. Im Allgemeinen kann das ML-Modell Klassen von größeren, häufigeren Objekten/Oberflächen besser vorhersagen als Klassen von kleineren oder selteneren Objekten/Oberflächen. Die Klassen können in die folgenden Qualitätsstufen gruppiert werden, von höherer zu niedrigerer Qualität:

Qualitätsstufen für semantische Labels
Hauptszenenkomponenten
  • Himmel
  • Gebäude
  • Baum
  • Straße
  • Fahrzeug
Wichtige Details der Szene
  • Bürgersteig
  • Gelände
  • Struktur
  • Wasser
Unwichtige Details der Szene
  • Objekt
  • Person

Gerätekompatibilität

Die Scene Semantics API verwendet dieselbe Liste unterstützter Geräte wie die Depth API. Eine aktuelle Liste der Geräte, die beide APIs unterstützen, finden Sie auf der Seite Unterstützte ARCore-Geräte.

Unterstützte Anwendungsfälle

Die Scene Semantics API ist für die Verwendung in den folgenden Szenarien vorgesehen:

  1. Außenszenen: Unterstützt nur Außenszenen und ist nicht für Anwendungsfälle im Innenbereich vorgesehen.

  2. Hochformat: Sollte nur im Standardausrichtungsmodus des Geräts verwendet werden (d.h. im Hochformat). Die Qualität semantischer Labels ist im Querformat nicht garantiert.