Guide specifiche per piattaforma
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
L'API Scene Semantics consente agli sviluppatori di comprendere la scena che circonda l'utente, il che è necessario per molte esperienze AR di alta qualità. Basata su un modello di ML, l'API Scene Semantics fornisce informazioni semantiche in tempo reale, che completano le informazioni geometriche esistenti in ARCore.
Data un'immagine di una scena all'aperto, l'API restituisce un'etichetta per ogni pixel in un insieme di classi semantiche utili, come cielo, edificio, albero, strada, marciapiede, veicolo, persona e altro ancora. Oltre alle etichette dei pixel, l'API Scene Semantics offre anche valori di confidenza per ogni etichetta dei pixel e un modo semplice per eseguire query sulla prevalenza di una determinata etichetta in una scena all'aperto.
Da sinistra a destra, esempi di un'immagine di input, dell'immagine semantica delle etichette dei pixel e dell'immagine di confidenza corrispondente:
Con l'API Scene Semantics, gli sviluppatori possono identificare componenti di scene specifici, come strade e marciapiedi, per aiutare un utente a orientarsi in una città sconosciuta, persone e veicoli per eseguire il rendering delle occlusioni su oggetti dinamici, il cielo per creare un tramonto a qualsiasi ora del giorno e gli edifici per modificarne l'aspetto e ancorare oggetti virtuali.
Etichette semantiche e qualità
L'API Scene Semantics fornisce più etichette, ognuna con una qualità o un'affidabilità corrispondente. In genere, il modello ML è in grado di prevedere meglio le classi di oggetti/superfici più grandi e comuni rispetto alle classi di oggetti/superfici più piccoli o rari. Le classi possono essere raggruppate nei seguenti livelli di qualità, in ordine decrescente:
| Livelli di qualità delle etichette semantiche | |
|---|---|
| Componenti principali della scena |
|
| Dettagli principali della scena |
|
| Dettagli minori della scena |
|
Compatibilità dei dispositivi
L'API Scene Semantics condivide lo stesso elenco di dispositivi supportati dell'API Depth. Per un elenco aggiornato dei dispositivi che supportano entrambe le API, consulta la pagina Dispositivi supportati da ARCore.
Casi d'uso supportati
L'API Scene Semantics è progettata per essere utilizzata nei seguenti scenari:
Scene all'aperto: supporta solo le scene all'aperto e non è destinato a casi d'uso interni.
Orientamento verticale: deve essere utilizzato solo nella modalità di orientamento predefinita del dispositivo (ovvero verticale). La qualità delle etichette semantiche non è garantita per la modalità Orizzontale.