Con la API de detección y seguimiento de objetos en el dispositivo del Kit de AA, puedes detectar objetos y hacerles seguimiento en una imagen o feed de cámara en vivo.
De manera opcional, puedes clasificar objetos detectados mediante el clasificador general integrado en la API o con tu propio modelo de clasificación de imágenes personalizado. Consulta Usa un modelo personalizado de TensorFlow Lite para obtener más información.
Debido a que la detección y el seguimiento de objetos se realiza en el dispositivo, funciona bien como frontend de la canalización de la búsqueda visual. Después de detectar y filtrar objetos, puedes pasarlos a un backend en la nube, como Cloud Vision Product Search.
Funciones clave
- Detección y seguimiento rápido de objetos Detecta objetos y obtén sus ubicaciones en la imagen. Realiza un seguimiento de objetos en los marcos de imagen sucesivos.
- Modelo optimizado en el dispositivo El modelo de detección y seguimiento de objetos está optimizado para dispositivos móviles y está diseñado para usarse en aplicaciones en tiempo real, incluso en dispositivos de gama baja.
- Detección de objetos destacados: Determina automáticamente el objeto más prominente en una imagen.
- Clasificación general: Clasifica objetos en amplias categorías, que puedes usar para filtrar objetos que no te interesan. Se admiten las siguientes categorías: artículos para el hogar, productos de moda, comida, plantas y lugares.
- Clasificación con un modelo personalizado Usa tu propio modelo de clasificación de imágenes personalizado para identificar o filtrar categorías específicas de objetos. Para que tu modelo personalizado tenga un mejor rendimiento, excluye el fondo de la imagen.
Resultados de ejemplo
Hacer un seguimiento del objeto más prominente en las imágenes
En el siguiente ejemplo, se muestran los datos de seguimiento de tres marcos sucesivos con el clasificador general predeterminado que proporciona el Kit de AA.
 |
|
||||||||
 |
|
||||||||
 |
|
Foto: Christian Ferrer [CC BY-SA 4.0]
Varios objetos en una imagen estática
En el siguiente ejemplo, se muestran los datos de los cuatro objetos detectados en la imagen con el clasificador grosero predeterminado que proporciona el Kit de AA.
| Objeto 0 | |
|---|---|
| Límites | (1, 97), (332, 97), (332, 332), (1, 332) |
| Categoría | MODA_BUENA |
| Confianza de clasificación | 0,95703125 |
| Objeto 1 | |
| Límites | (186, 80), (337, 80), (337, 226), (186, 226) |
| Categoría | MODA_BUENA |
| Confianza de clasificación | 0,84375 |
| Objeto 2 | |
| Límites | (296, 80), (472, 80), (472, 388), (296, 388) |
| Categoría | MODA_BUENA |
| Confianza de clasificación | 0,94921875 |
| Objeto 3 | |
| Límites | (439, 83), (615, 83), (615, 306), (439, 306) |
| Categoría | MODA_BUENA |
| Confianza de clasificación | 0,9375 |
Usa un modelo personalizado de TensorFlow Lite
El clasificador grosero predeterminado está compilado para cinco categorías, lo que proporciona información limitada sobre los objetos detectados. Es posible que necesites un modelo clasificador más especializado que abarque un dominio de conceptos más limitado en más detalle; por ejemplo, un modelo para distinguir entre especies de flores o tipos de comida.
Esta API te permite adaptar un caso práctico particular, ya que admite modelos de clasificación de imágenes personalizados de una amplia variedad de fuentes. Para obtener más información, consulta Modelos personalizados con el Kit de AA. Los modelos personalizados se pueden empaquetar con tu app o descargar de forma dinámica desde la nube mediante el servicio de implementación de modelos de aprendizaje automático de Firebase.
Procesamiento previo de imágenes de entrada
Si es necesario, la detección y el seguimiento de objetos usa el escalamiento y el estiramiento de imágenes bilineales para ajustar el tamaño de la imagen de entrada y la relación de aspecto a fin de que se ajusten a los requisitos del modelo subyacente.