Przewodniki dotyczące poszczególnych platform
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Interfejs Scene Semantics API umożliwia deweloperom zrozumienie sceny otaczającej użytkownika, co jest niezbędne w przypadku wielu wysokiej jakości aplikacji AR. Interfejs Scene Semantics API, oparty na modelu uczenia maszynowego, dostarcza w czasie rzeczywistym informacje semantyczne, które uzupełniają istniejące informacje geometryczne w ARCore.
Interfejs API zwraca etykietę dla każdego piksela na obrazie przedstawiającym scenę na zewnątrz, w przypadku zestawu przydatnych klas semantycznych, takich jak niebo, budynek, drzewo, droga, chodnik, pojazd, osoba itp. Oprócz etykiet pikseli interfejs Scene Semantics API udostępnia też wartości ufności dla każdej etykiety piksela oraz łatwy w użyciu sposób sprawdzania częstości występowania danej etykiety w scenie zewnętrznej.
Od lewej do prawej: przykłady obrazu wejściowego, obrazu semantycznego etykiet pikseli i odpowiedniego obrazu ufności:
Dzięki interfejsowi Scene Semantics API deweloperzy mogą identyfikować konkretne elementy sceny, takie jak drogi i chodniki, aby ułatwić użytkownikowi poruszanie się po nieznanym mieście, osoby i pojazdy, aby renderować zasłonięcia na dynamicznych obiektach, niebo, aby tworzyć zachody słońca o dowolnej porze dnia, oraz budynki, aby modyfikować ich wygląd i zakotwiczać wirtualne obiekty.
Etykiety semantyczne i jakość
Interfejs Scene Semantics API udostępnia wiele etykiet, z których każda ma odpowiednią jakość lub wiarygodność. Ogólnie rzecz biorąc, model ML lepiej przewiduje klasy większych i bardziej powszechnych obiektów lub powierzchni niż klasy mniejszych lub rzadszych obiektów lub powierzchni. Zajęcia można podzielić na te poziomy jakości, od najwyższego do najniższego:
| Poziomy jakości etykiet semantycznych | |
|---|---|
| Główne komponenty sceny |
|
| Szczegóły głównej sceny |
|
| Drobne szczegóły sceny |
|
Zgodność urządzeń
Interfejs Scene Semantics API obsługuje te same urządzenia co interfejs Depth API. Aktualną listę urządzeń obsługujących oba interfejsy API znajdziesz na stronie Urządzenia obsługujące ARCore.
Obsługiwane zastosowania
Interfejs Scene Semantics API jest przeznaczony do używania w tych sytuacjach:
Sceny na zewnątrz: obsługuje tylko sceny na zewnątrz i nie jest przeznaczony do użytku w pomieszczeniach.
Orientacja pionowa: powinna być używana tylko w domyślnym trybie orientacji urządzenia (czyli pionowym). Jakość etykiet semantycznych w trybie poziomym nie jest gwarantowana.