Guides spécifiques à la plate-forme
Android (Kotlin/Java)
NDK Android (C)
iOS
Unity (AR Foundation)
L'API Scene Semantics permet aux développeurs de comprendre la scène qui entoure l'utilisateur, ce qui est nécessaire pour de nombreuses expériences de RA de haute qualité. Basée sur un modèle de ML, l'API Scene Semantics fournit des informations sémantiques en temps réel, qui complètent les informations géométriques existantes dans ARCore.
À partir d'une image d'une scène extérieure, l'API renvoie un libellé pour chaque pixel dans un ensemble de classes sémantiques utiles, telles que le ciel, les bâtiments, les arbres, les routes, les trottoirs, les véhicules, les personnes, etc. En plus des libellés de pixels, l'API Scene Semantics propose également des valeurs de confiance pour chaque libellé de pixel et un moyen simple d'interroger la prévalence d'un libellé donné dans une scène extérieure.
De gauche à droite, exemples d'une image d'entrée, de l'image sémantique des libellés de pixels et de l'image de confiance correspondante :
Avec l'API Scene Semantics, les développeurs peuvent identifier des composants de scène spécifiques, tels que les routes et les trottoirs pour guider un utilisateur dans une ville inconnue, les personnes et les véhicules pour afficher des occlusions sur des objets dynamiques, le ciel pour créer un coucher de soleil à n'importe quel moment de la journée, et les bâtiments pour modifier leur apparence et ancrer des objets virtuels.
Libellés sémantiques et qualité
L'API Scene Semantics fournit plusieurs libellés, chacun avec une qualité ou une fiabilité correspondante. En général, le modèle de ML est plus à même de prédire les classes d'objets/surfaces plus grands et plus courants que les classes d'objets/surfaces plus petits ou plus rares. Les classes peuvent être regroupées dans les niveaux de qualité suivants, classés du plus élevé au plus bas :
| Niveaux de qualité des libellés sémantiques | |
|---|---|
| Principaux composants de la scène |
|
| Principaux détails de la scène |
|
| Détails mineurs de la scène |
|
Compatibilité avec les appareils
L'API Scene Semantics partage la même liste d'appareils compatibles que l'API Depth. Pour obtenir la liste à jour des appareils compatibles avec les deux API, consultez la page Appareils compatibles avec ARCore.
Cas d'utilisation compatibles
L'API Scene Semantics est conçue pour être utilisée dans les scénarios suivants :
Scènes extérieures : ne prend en charge que les scènes extérieures et n’est pas destinée aux cas d’utilisation en intérieur.
Orientation portrait : ne doit être utilisée que dans le mode d'orientation par défaut de l'appareil (c'est-à-dire portrait). La qualité des libellés sémantiques n'est pas garantie en mode paysage.