Przewodniki dotyczące poszczególnych platform
Android (Kotlin/Java)
Pakiet NDK z Androidem (C)
iOS
Unity (Fundacja AR)
Interfejs Scene Semantics API umożliwia programistom zrozumienie otoczenia użytkownika, co jest niezbędne w wielu wysokiej jakości AR. Interfejs Scene Semantics API, oparty na modelu ML, zapewnia informacje semantyczne w czasie rzeczywistym, które uzupełniają informacje geometryczne w ARCore.
Biorąc pod uwagę obraz sceny na zewnątrz, interfejs API zwraca etykietę każdego piksela w zestawie przydatnych klas semantycznych, takich jak niebo, budynek, drzewo, droga, chodnik, pojazd, osoba i inne. Oprócz etykiet pikseli interfejs Scene Semantics API udostępnia też wartości ufności dla każdej etykiety piksela i umożliwia łatwe w użyciu zapytanie o częstotliwość występowania danej etykiety w plenerze.
Przykłady obrazu wejściowego, semantyczna grafika etykiet pikseli oraz odpowiedni obraz ufności (od lewej do prawej):
Za pomocą interfejsu Scene Semantics API deweloperzy mogą identyfikować określone komponenty sceny, takie jak drogi i chodniki, aby ułatwić użytkownikowi poruszanie się po nieznanym mieście, ludzi i pojazdy, aby wyświetlać efekty przesłoniętego obiektu w dynamicznych obiektach, nieba w celu zachodu słońca o dowolnej porze dnia, a także zmieniać wygląd budynków i kotwić w nich wirtualne obiekty.
Etykiety semantyczne i jakość
Interfejs Scene Semantics API udostępnia wiele etykiet o odpowiedniej jakości lub niezawodności. Zasadniczo model ML lepiej przewiduje klasy większych, bardziej powszechnych obiektów/przestrzeni niż klasy mniejszych lub rzadziej występujących obiektów bądź powierzchni. Klasy można grupować według tych poziomów jakości (od wyższego do niższego):
| Poziomy jakości etykiet semantycznych | |
|---|---|
| Komponenty sceny głównej |
|
| Główne szczegóły sceny |
|
| Szczegóły sceny mniejszych |
|
Zgodność urządzeń
Interfejs Scene Semantics API korzysta z tej samej listy obsługiwanych urządzeń co Depth API. Aktualną listę urządzeń obsługujących oba interfejsy API znajdziesz na stronie obsługiwanych urządzeń ARCore.
Obsługiwane zastosowania
Interfejs Scene Semantics API jest przeznaczony do użycia w tych scenariuszach:
Sceny na zewnątrz: obsługuje tylko sceny na zewnątrz i nie jest przeznaczona do użytku wewnątrz budynków.
Orientacja pionowa: powinna być używana tylko w domyślnej orientacji urządzenia (tzn. w orientacji pionowej). Jakość etykiet semantycznych nie jest gwarantowana w przypadku trybu poziomego.