Plattformspezifische Leitfäden
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Mit der Scene Semantics API können Entwickler die Umgebung des Nutzers besser verstehen, was für viele hochwertige AR-Erlebnisse erforderlich ist. Die Scene Semantics API basiert auf einem ML-Modell und liefert semantische Echtzeitinformationen, die die vorhandenen geometrischen Informationen in ARCore ergänzen.
Bei einem Bild einer Außenszene gibt die API ein Label für jedes Pixel über eine Reihe nützlicher semanischer Klassen wie Himmel, Gebäude, Baum, Straße, Bürgersteig, Fahrzeug, Person usw. zurück. Zusätzlich zu den Pixellabels bietet die Scene Semantics API auch Konfidenzwerte für jedes Pixellabel und eine benutzerfreundliche Methode, um die Verbreitung eines bestimmten Labels in einer Außenszene abzufragen.
Von links nach rechts sehen Sie Beispiele für ein Eingabebild, das semantische Bild von Pixellabels und das entsprechende Konfidenzbild:
Mit der Scene Semantics API können Entwickler bestimmte Szenenkomponenten identifizieren, z. B. Straßen und Bürgersteige, um einen Nutzer durch eine unbekannte Stadt zu führen, Personen und Fahrzeuge, um Verdeckungen auf dynamischen Objekten zu rendern, den Himmel, um zu jeder Tageszeit einen Sonnenuntergang zu erstellen, und Gebäude, um ihr Aussehen zu ändern und virtuelle Objekte zu verankern.
Semantische Labels und Qualität
Die Scene Semantics API bietet mehrere Labels mit jeweils einer entsprechenden Qualität oder Zuverlässigkeit. Im Allgemeinen ist das ML-Modell in der Lage, Klassen größerer, häufiger vorkommender Objekte/Flächen besser vorherzusagen als Klassen kleinerer oder seltenerer Objekte/Flächen. Die Klassen können in die folgenden Qualitätsstufen eingeteilt werden:
| Qualitätsstufen für semantische Labels | |
|---|---|
| Komponenten der Hauptszene |
|
| Wichtige Szenendetails |
|
| Details zur Nebenszene |
|
Eingeschränkte Gerätekompatibilität
Die Scene Semantics API nutzt dieselbe Liste unterstützter Geräte wie die Depth API. Auf der Seite Von ARCore unterstützte Geräte findest du eine aktuelle Liste der Geräte, die beide APIs unterstützen.
Unterstützte Anwendungsfälle
Die Scene Semantics API wurde für die folgenden Szenarien entwickelt:
Außenaufnahmen: Unterstützt nur Außenaufnahmen und ist nicht für Anwendungsfälle in Innenräumen vorgesehen.
Hochformat: Sollte nur im Standardausrichtungsmodus des Geräts verwendet werden, also im Hochformat. Die Qualität der semantischen Labels kann im Querformat nicht garantiert werden.