Entender o ambiente do usuário no SDK do Android (Kotlin/Java)

Aprenda a usar a API Scene Semantics nos seus próprios apps.

A API Scene Semantics permite que os desenvolvedores entendam o cenário ao redor do usuário fornecendo informações semânticas em tempo real baseadas em modelos de ML. Dada uma imagem de um cenário externo, a API retorna um rótulo para cada pixel em um conjunto de classes semânticas úteis, como céu, edifício, árvore, estrada, calçada, veículo, pessoa e muito mais. Além dos identificadores de pixel, a API Scene Semantics também oferece valores de confiança para cada rótulo de pixel e uma maneira fácil de consultar a prevalência de um determinado rótulo em uma cena ao ar livre.

Da esquerda para a direita, exemplos de uma imagem de entrada, a imagem semântica dos rótulos de pixel e a imagem de confiança correspondente:

Pré-requisitos

Verifique se você entendeu os conceitos fundamentais de RA e como configurar uma sessão do ARCore antes de continuar.

Ativar Scene Semantics

Em uma nova sessão do ARCore, verifique se o dispositivo de um usuário oferece suporte à API Scene Semantics. Nem todos os dispositivos compatíveis com ARCore aceitam a API Scene Semantics devido a restrições de capacidade de processamento.

Para economizar recursos, o Scene Semantics é desativado por padrão no ARCore. Ative o modo semântico para que o app use a API Scene Semantics.

Java

Config config = session.getConfig();

// Check whether the user's device supports the Scene Semantics API.
boolean isSceneSemanticsSupported =
    session.isSemanticModeSupported(Config.SemanticMode.ENABLED);
if (isSceneSemanticsSupported) {
  config.setSemanticMode(Config.SemanticMode.ENABLED);
}
session.configure(config);

Kotlin

val config = session.config

// Check whether the user's device supports the Scene Semantics API.
val isSceneSemanticsSupported = session.isSemanticModeSupported(Config.SemanticMode.ENABLED)
if (isSceneSemanticsSupported) {
  config.semanticMode = Config.SemanticMode.ENABLED
}
session.configure(config)

Receber a imagem semântica

Depois que o Scene Semantics é ativado, a imagem semântica pode ser recuperada. A imagem semântica é uma imagem ImageFormat.Y8, em que cada pixel corresponde a um rótulo semântico definido por SemanticLabel.

Use Frame.acquireSemanticImage() para adquirir a imagem semântica:

Java

// Retrieve the semantic image for the current frame, if available.
try (Image semanticImage = frame.acquireSemanticImage()) {
  // Use the semantic image here.
} catch (NotYetAvailableException e) {
  // No semantic image retrieved for this frame.
  // The output image may be missing for the first couple frames before the model has had a
  // chance to run yet.
}

Kotlin

// Retrieve the semantic image for the current frame, if available.
try {
  frame.acquireSemanticImage().use { semanticImage ->
    // Use the semantic image here.
  }
} catch (e: NotYetAvailableException) {
  // No semantic image retrieved for this frame.
}

As imagens semânticas de saída vão estar disponíveis cerca de um a três frames depois do início da sessão, dependendo do dispositivo.

Conseguir a imagem de confiança

Além da imagem semântica, que fornece um rótulo para cada pixel, a API também fornece uma imagem de confiança dos valores de confiança de pixels correspondentes. A imagem de confiança é uma imagem ImageFormat.Y8, em que cada pixel corresponde a um valor no intervalo [0, 255], correspondendo à probabilidade associada ao rótulo semântico de cada pixel.

Use Frame.acquireSemanticConfidenceImage() para adquirir a imagem de confiança semântica:

Java

// Retrieve the semantic confidence image for the current frame, if available.
try (Image semanticImage = frame.acquireSemanticConfidenceImage()) {
  // Use the semantic confidence image here.
} catch (NotYetAvailableException e) {
  // No semantic confidence image retrieved for this frame.
  // The output image may be missing for the first couple frames before the model has had a
  // chance to run yet.
}

Kotlin

// Retrieve the semantic confidence image for the current frame, if available.
try {
  frame.acquireSemanticConfidenceImage().use { semanticConfidenceImage ->
    // Use the semantic confidence image here.
  }
} catch (e: NotYetAvailableException) {
  // No semantic confidence image retrieved for this frame.
}

As imagens de confiança de saída vão estar disponíveis cerca de um a três frames depois do início da sessão, dependendo do dispositivo.

Consultar a fração de pixels para obter um identificador semântico

Você também pode consultar a fração de pixels no frame atual que pertence a uma determinada classe, como o céu. Essa consulta é mais eficiente do que retornar a imagem semântica e realizar uma pesquisa de pixels para um rótulo específico. A fração retornada é um valor flutuante no intervalo [0.0, 1.0].

Use Frame.getSemanticLabelFraction() para adquirir a fração de um determinado identificador:

Java

// Retrieve the fraction of pixels for the semantic label sky in the current frame.
try {
  float outFraction = frame.getSemanticLabelFraction(SemanticLabel.SKY);
  // Use the semantic label fraction here.
} catch (NotYetAvailableException e) {
  // No fraction of semantic labels was retrieved for this frame.
}

Kotlin

// Retrieve the fraction of pixels for the semantic label sky in the current frame.
try {
  val fraction = frame.getSemanticLabelFraction(SemanticLabel.SKY)
  // Use the semantic label fraction here.
} catch (e: NotYetAvailableException) {
  // No fraction of semantic labels was retrieved for this frame.
}