Guías específicas para cada plataforma
Android (Kotlin/Java)
NDK de Android (C)
iOS
Unity (Base de RA)
La API de Scene Semantics permite a los desarrolladores comprender la escena que rodea al usuario, lo cual es necesario para muchas experiencias de RA de alta calidad. La API de Scene Semantics se basa en un modelo de AA y proporciona información semántica en tiempo real, lo que complementa la información geométrica existente en ARCore.
Dada una imagen de una escena al aire libre, la API muestra una etiqueta para cada píxel de un conjunto de clases semánticas útiles, como el cielo, el edificio, el árbol, la carretera, la acera, el vehículo y la persona, entre otros. Además de las etiquetas de píxeles, la API de Scene Semantics también ofrece valores de confianza para cada etiqueta de píxel y una manera fácil de usar de consultar la prevalencia de una etiqueta determinada en una escena al aire libre.
De izquierda a derecha, ejemplos de una imagen de entrada, la imagen semántica de etiquetas de píxeles y la imagen de confianza correspondiente:
Con la API de Scene Semantics, los desarrolladores pueden identificar componentes específicos de escenas, como carreteras y aceras, para guiar al usuario por una ciudad desconocida, personas y vehículos para renderizar oclusiones de objetos dinámicos, cielo para crear una puesta de sol a cualquier momento del día y edificios para modificar su apariencia y anclar objetos virtuales.
Etiquetas semánticas y calidad
La API de Scene Semantics proporciona varias etiquetas, cada una con su calidad o confiabilidad correspondiente. Por lo general, el modelo de AA es mejor capaz de predecir clases de superficies o objetos más grandes y comunes que clases de superficies o objetos más pequeños o más raros. Las clases se pueden agrupar en los siguientes niveles de calidad, clasificados de mayor a menor:
| Niveles de calidad de las etiquetas semánticas | |
|---|---|
| Componentes de la escena principal |
|
| Detalles principales de la escena |
|
| Detalles de la escena secundaria |
|
Compatibilidad con dispositivos
La API de Scene Semantics comparte la misma lista de dispositivos compatibles que la API de Depth. Consulta la página de dispositivos compatibles con ARCore para obtener una lista actualizada de los dispositivos que admiten ambas APIs.
Casos de uso compatibles
La API de Scene Semantics está diseñada para usarse en las siguientes situaciones:
Escenas al aire libre: Solo se admiten escenas en exteriores y no están diseñadas para casos de uso en interiores.
Orientación vertical: Solo debe usarse en el modo de orientación predeterminado del dispositivo (es decir, vertical). La calidad de las etiquetas semánticas no está garantizada para el modo horizontal.