Comprendre l'environnement de l'utilisateur sur AR Foundation d'Unity

Découvrez comment utiliser l'API Scene Semantics dans vos propres applications.

L'API Scene Semantics permet aux développeurs de comprendre l'environnement de l'utilisateur en fournissant des informations sémantiques en temps réel basées sur un modèle de ML. À partir d'une image d'une scène extérieure, l'API renvoie un libellé pour chaque pixel dans un ensemble de classes sémantiques utiles, comme le ciel, un bâtiment, un arbre, une route, un trottoir, un véhicule, une personne, etc. En plus des étiquettes de pixel, l'API Scene Semantics propose des valeurs de confiance pour chaque libellé de pixel et permet d'interroger facilement la prévalence d'une étiquette donnée dans une scène en extérieur.

De gauche à droite, des exemples d'image d'entrée, l'image sémantique des étiquettes de pixels et l'image de confiance correspondante:

Conditions préalables

Assurez-vous de bien comprendre les concepts fondamentaux de la RA et de configurer une session ARCore avant de continuer.

Activer Scene Semantics

Dans une nouvelle session ARCore, vérifiez si l'appareil d'un utilisateur est compatible avec l'API Scene Semantics. Les appareils compatibles avec ARCore ne sont pas tous compatibles avec l'API Scene Semantics en raison de contraintes de puissance de traitement.

Pour économiser les ressources, Scene Semantics est désactivé par défaut sur ARCore. Activez le mode sémantique pour que votre application utilise l'API Scene Semantics.

Dans ARCoreExtensionsConfig, définissez le mode sémantique sur "Activé".

Si vous utilisez iOS, la sémantique doit également être activée dans les paramètres du projet:

1. Accédez à Edit > Project Settings > XR Plug-In Management > ARCore Extensions (Modifier > Paramètres du projet > Gestion des plug-ins XR > Extensions ARCore).
2. Sous Fonctionnalités facultatives, sélectionnez Sémantique sur iOS.

Obtenir l'image sémantique

Une fois Scene Semantics activé, l'image sémantique peut être récupérée. L'image sémantique est une image TextureFormat.R8, où chaque pixel correspond à une étiquette sémantique définie par SemanticLabel.

Utilisez ArSemanticManager.TryGetSemanticTexture() pour acquérir l'image sémantique:

if (semanticManager.TryGetSemanticTexture(out Texture2D semanticImage))
{
    using (semanticImage)
    {
        // Use the semantic image here.
    }
}

Les images sémantiques de sortie doivent être disponibles après un à trois frames environ à partir du début de la session, en fonction de l'appareil.

Image "Obtenir le niveau de confiance"

En plus de l'image sémantique, qui fournit une étiquette pour chaque pixel, l'API fournit également une image de confiance correspondant aux valeurs de confiance du pixel. L'image de confiance est une image TextureFormat.Alpha8, où chaque pixel correspond à une valeur comprise dans la plage [0, 255], correspondant à la probabilité associée à l'étiquette sémantique de chaque pixel.

Utilisez ArSemanticManager.TryGetSemanticConfidenceTexture() pour acquérir l'image de confiance sémantique:

if (semanticManager.TryGetSemanticConfidenceTexture(out Texture2D semanticConfidenceImage))
{
    using (semanticConfidenceImage)
    {
        // Use the semantic confidence image here.
    }
}

Les images de confiance de sortie doivent être disponibles après un à trois frames environ à partir du début de la session, en fonction de l'appareil.

Interroger la fraction de pixels pour une étiquette sémantique

Vous pouvez également interroger la fraction de pixels de l'image actuelle qui appartient à une classe particulière, comme le ciel. Cette requête est plus efficace que de renvoyer l'image sémantique et d'effectuer une recherche par pixel sur une étiquette spécifique. La fraction renvoyée est une valeur flottante comprise dans la plage [0.0, 1.0].

Utilisez ArSemanticManager.GetSemanticLabelFraction() pour acquérir la fraction pour une étiquette donnée:

var fraction = semanticManager.GetSemanticLabelFraction(SemanticLabel.SKY);