Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

Detección y seguimiento de objetos

Con la API de detección y seguimiento de objetos en el dispositivo del Kit de AA, puedes detectar objetos y hacerles seguimiento en una imagen o un feed de cámara en vivo.

De forma opcional, puedes clasificar objetos detectados mediante el clasificador general integrado en la API o tu propio modelo de clasificación de imágenes personalizado. Consulta Usa un modelo personalizado de TensorFlow Lite para obtener más información.

Debido a que la detección y el seguimiento de objetos se realiza en el dispositivo, funciona bien como frontend de la canalización de búsqueda visual. Después de detectar y filtrar objetos, puedes pasarlos a un backend en la nube, como Cloud Vision Product Search.

iOS Android

Funciones clave

  • Detección y seguimiento rápido de objetos Detecta objetos y obtén sus ubicaciones en la imagen. Realiza un seguimiento de los objetos en los marcos de imágenes sucesivos.
  • Modelo optimizado en el dispositivo El modelo de detección y seguimiento de objetos está optimizado para dispositivos móviles y está diseñado para usarse en aplicaciones en tiempo real, incluso en dispositivos de gama baja.
  • Detección de objetos prominentes Determina automáticamente el objeto más prominente en una imagen.
  • Clasificación general: Clasifica objetos en categorías amplias, que puedes usar para filtrar objetos que no te interesan. Se admiten las siguientes categorías: artículos para el hogar, artículos de moda, alimentos, plantas y lugares.
  • Clasificación con un modelo personalizado Usa tu propio modelo de clasificación de imágenes personalizado para identificar o filtrar categorías de objetos específicas. Para mejorar el rendimiento de tu modelo personalizado, omite el fondo de la imagen.

Resultados de ejemplo

Hacer un seguimiento del objeto más prominente en las imágenes

En el siguiente ejemplo, se muestran los datos de seguimiento de tres fotogramas sucesivos con el clasificador general predeterminado que proporciona el Kit de AA.

ID de seguimiento 0
Límites (95, 45), (496, 45), (496, 240), (95 y 240)
Categoría LUGAR
Confianza de la clasificación 0,9296875
ID de seguimiento 0
Límites (84, 46), (478, 46), (478, 247), (84, 247)
Categoría LUGAR
Confianza de la clasificación 0,8710938
ID de seguimiento 0
Límites (53, 45), (519, 45), (519, 240), (53, 240)
Categoría LUGAR
Confianza de la clasificación 0,8828125

Foto: Christian Ferrer [CC BY-SA 4.0]

Varios objetos en una imagen estática

En el siguiente ejemplo, se muestran los datos de los cuatro objetos detectados en la imagen con el clasificador general predeterminado que proporciona el Kit de AA.

Objeto 0
Límites (1, 97), (332, 97), (332, 332), (1, 332)
Categoría MODA_BUENA
Confianza de la clasificación 0,95703125
Objeto 1
Límites (186, 80), (337, 80), (337, 226), (186, 226)
Categoría MODA_BUENA
Confianza de la clasificación 0,84375
Objeto 2
Límites (296, 80), (472, 80), (472, 388), (296, 388)
Categoría MODA_BUENA
Confianza de la clasificación 0,94921875
Objeto 3
Límites (439, 83), (615, 83), (615, 306), (439, 306)
Categoría MODA_BUENA
Confianza de la clasificación 0,9375

Usa un modelo personalizado de TensorFlow Lite

El clasificador ordinario predeterminado se compila para cinco categorías, lo que proporciona información limitada sobre los objetos detectados. Es posible que necesites un modelo clasificador más especializado que abarque un dominio de conceptos más limitado y detallado, por ejemplo, un modelo para distinguir entre especies de flores o tipos de comida.

Esta API te permite adaptarla a un caso práctico particular, ya que admite modelos de clasificación de imágenes personalizados de una amplia gama de fuentes. Consulta Modelos personalizados con el Kit de AA para obtener más información. Los modelos personalizados se pueden agrupar con tu app o descargar de forma dinámica desde la nube mediante el servicio de implementación de modelos de aprendizaje automático de Firebase.

iOS Android

Procesamiento previo de imágenes de entrada

Si es necesario, la detección y el seguimiento de objetos usan el escalamiento y el estiramiento de imágenes bilineales para ajustar el tamaño de la imagen de entrada y la relación de aspecto a fin de que se ajusten a los requisitos del modelo subyacente.