Guias específicos da plataforma
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
A API Scene Semantics permite que os desenvolvedores entendam a cena ao redor do usuário, o que é necessário para muitas experiências de RA de alta qualidade. Criada com base em um modelo de ML, a API Scene Semantics fornece informações semânticas em tempo real, que complementam as informações geométricas atuais no ARCore.
Com uma imagem de uma cena ao ar livre, a API retorna um rótulo para cada pixel em um conjunto de classes semânticas úteis, como céu, prédio, árvore, rua, calçada, veículo, pessoa e muito mais. Além dos rótulos de pixel, a API Scene Semantics também oferece valores de confiança para cada rótulo de pixel e uma maneira fácil de consultar a prevalência de um determinado rótulo em uma cena externa.
Da esquerda para a direita, exemplos de uma imagem de entrada, a imagem semântica de rótulos de pixels e a imagem de confiança correspondente:
Com a API Scene Semantics, os desenvolvedores podem identificar componentes específicos de uma cena, como ruas e calçadas, para ajudar um usuário a se orientar em uma cidade desconhecida, pessoas e veículos para renderizar oclusões em objetos dinâmicos, o céu para criar um pôr do sol a qualquer hora do dia e edifícios para modificar a aparência e ancorar objetos virtuais.
Rótulos semânticos e qualidade
A API Scene Semantics fornece vários rótulos, cada um com uma qualidade ou confiabilidade correspondente. Em geral, o modelo de ML consegue prever classes de objetos/superfícies maiores e mais comuns do que classes de objetos/superfícies menores ou mais raros. As classes podem ser agrupadas nos seguintes níveis de qualidade, classificados de maior para menor:
| Níveis de qualidade de rótulos semânticos | |
|---|---|
| Principais componentes da cena |
|
| Principais detalhes da cena |
|
| Detalhes secundários da cena |
|
Compatibilidade do dispositivo
A API Scene Semantics compartilha a mesma lista de dispositivos compatíveis da API Depth. Consulte a página Dispositivos compatíveis com o ARCore para ver uma lista atualizada de dispositivos que oferecem suporte às duas APIs.
Casos de uso com suporte
A API Scene Semantics foi projetada para uso nos seguintes cenários:
Cenas externas: compatível apenas com cenas externas e não destinado a casos de uso internos.
Orientação retrato: só deve ser usada no modo de orientação padrão do dispositivo (ou seja, retrato). A qualidade dos rótulos semânticos não é garantida no modo paisagem.