Guide specifiche per piattaforma
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (Fondazione AR)
L'API Scene Semantics consente agli sviluppatori di comprendere la scena che circonda l'utente, una funzionalità necessaria per molte esperienze AR di alta qualità. Realizzata su un modello ML, l'API Scene Semantics fornisce informazioni semantiche in tempo reale, che completano le informazioni geometriche esistenti in ARCore.
Data l'immagine di una scena all'aperto, l'API restituisce un'etichetta per ciascun pixel in un insieme di classi semantiche utili, come cielo, edificio, albero, strada, marciapiede, veicolo, persona e altro ancora. Oltre alle etichette dei pixel, l'API Scene Semantics offre anche valori di affidabilità per ciascuna etichetta di pixel e un modo facile da usare per verificare la prevalenza di una determinata etichetta in una scena all'aperto.
Da sinistra a destra, esempi di un'immagine di input, l'immagine semantica delle etichette dei pixel e la corrispondente immagine di confidenza:
Con l'API Scene Semantics, gli sviluppatori possono identificare componenti di scena specifici, come strade e marciapiedi, per guidare l'utente attraverso una città sconosciuta, persone e veicoli per visualizzare le occlusioni su oggetti dinamici, il cielo per creare un tramonto in qualsiasi momento della giornata e gli edifici per modificare il loro aspetto e ancorare oggetti virtuali.
Etichette semantiche e qualità
L'API Scene Semantics fornisce più etichette, ciascuna con una qualità o affidabilità corrispondente. In genere, il modello ML è più in grado di prevedere classi di oggetti/superfici più grandi e più comuni rispetto a classi di oggetti/superfici più piccoli o più rari. I corsi possono essere raggruppati nei seguenti livelli qualitativi, classificati dal più alto al più basso:
| Livelli di qualità dell'etichetta semantica | |
|---|---|
| Componenti della scena principale |
|
| Dettagli principali della scena |
|
| Dettagli scena minore |
|
Compatibilità dei dispositivi
L'API Scene Semantics condivide lo stesso elenco di dispositivi supportati dell'API depth. Consulta la pagina Dispositivi supportati da ARCore per un elenco aggiornato dei dispositivi che supportano entrambe le API.
Casi d'uso supportati
L'API Scene Semantics è progettata per l'utilizzo nei seguenti scenari:
Scene all'aperto: supporta solo scene all'aperto e non è destinata all'uso in ambienti interni.
Orientamento verticale: deve essere utilizzato solo nella modalità di orientamento predefinito del dispositivo (ad esempio, verticale). La qualità delle etichette semantiche non è garantita per la modalità Orizzontale.