Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Rotulagem de imagens

Com as APIs de rotulagem de imagens do Kit de ML, é possível detectar e extrair informações sobre entidades em uma imagem em um amplo grupo de categorias. O modelo padrão de rotulagem de imagens pode identificar objetos gerais, lugares, atividades, espécies de animais, produtos e muito mais.

É possível também usar um modelo de classificação de imagens personalizado para adaptar a detecção a um caso de uso específico. Consulte Como usar um modelo personalizado do TensorFlow Lite para mais informações.

Principais recursos

  • Um classificador básico de uso geral avançado reconhece mais de 400 categorias que descrevem os objetos mais encontrados nas fotos.
  • Personalize seu caso de uso com modelos personalizados Use outros modelos pré-treinados do TensorFlow Hub ou seu próprio modelo personalizado treinado com o TensorFlow, o AutoML Vision Edge ou o criador de modelos do TensorFlow Lite.
  • APIs de alto nível fáceis de usar Não é necessário lidar com entrada/saída de modelo de baixo nível, pré- e pós-processamento de imagens ou criação de pipeline de processamento. O Kit de ML extrai os rótulos do modelo do TensorFlow Lite e os fornece como uma descrição de texto.

Essa API é destinada a modelos de classificação de imagens que descrevem a imagem completa. Para classificar um ou mais objetos em uma imagem, como sapatos ou peças de móveis, a API Detecção de objetos e rastreamento pode ser mais adequada.

Modelos de classificação de imagens compatíveis

As APIs de rotulagem de imagens oferecem suporte a diferentes modelos de classificação de imagens:

Modelos de classificação de imagens compatíveis
Modelo base Por padrão, a API usa um poderoso modelo de rotulagem de imagens de uso geral que reconhece mais de 400 entidades que abrangem os conceitos mais encontrados em fotos.
Modelos personalizados do TensorFlow Lite Para visar conceitos específicos do aplicativo, a API aceita modelos personalizados de classificação de imagens de uma ampla variedade de fontes. Podem ser modelos pré-treinados transferidos do TensorFlow Hub ou seus próprios modelos treinados com o AutoML Vision Edge, TensorFlow Lite Model Maker ou o próprio TensorFlow. Os modelos podem ser agrupados com seu app ou hospedados com o Firebase Machine Learning e fazer o download no ambiente de execução.

Como usar o modelo base

O modelo básico do Kit de ML retorna uma lista de entidades que identificam pessoas, coisas, lugares, atividades e assim por diante. Cada entidade vem com uma pontuação que indica a confiança do modelo de ML quanto à relevância do elemento. Com essas informações, você pode executar tarefas, como a geração automática de metadados e a moderação de conteúdo. O modelo padrão fornecido com o Kit de ML reconhece mais de 400 entidades diferentes.

iOS Android

Rótulos de exemplos

O modelo base na API de rotulagem de imagens oferece suporte a mais de 400 rótulos, como os exemplos a seguir:

CategoriaRótulos de exemplos
Pessoas Crowd
Selfie
Smile
Atividades Dancing
Eating
Surfing
Android Things Car
Piano
Receipt
Animais Bird
Cat
Dog
Plantas Flower
Fruit
Vegetable
Places Beach
Lake
Mountain

Resultados de exemplo

Veja um exemplo de entidades que foram reconhecidas na foto complementar.

Foto: Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
Rótulo 0
Texto Estádio
Confiança 0,9205354
Rótulo 1
Texto Esportes
Confiança 0,7531109
Rótulo 2
Texto Evento
Confiança 0,66905296
Rótulo 3
Texto Lazer
Confiança 0,59904146
Rótulo 4
Texto Futebol
Confiança 0,56384534
Rótulo 5
Texto Rede
Confiança 0,54679185
Rótulo 6
Texto Planta
Confiança 0,524364

Como usar um modelo personalizado do TensorFlow Lite

O modelo de rotulagem de imagens base do Kit de ML é para uso geral. Ele é treinado para reconhecer 400 categorias que descrevem os objetos mais encontrados nas fotos. Seu app pode precisar de um modelo de classificação de imagem especializado que reconhece um número menor de categorias mais detalhadas, como um modelo que distingue entre espécies de flores ou tipos de alimentos.

Essa API permite que você personalize um caso de uso específico oferecendo suporte a modelos de classificação de imagem personalizados de várias fontes. Consulte Modelos personalizados com o kit de ML para saber mais. Os modelos personalizados podem ser agrupados com seu app ou baixados dinamicamente da nuvem usando o serviço de implantação de modelos do Firebase Machine Learning.

iOS Android

Pré-processamento de imagem de entrada

Se necessário, a rotulagem de imagens usa o escalonamento e o alongamento de imagens bilinears para ajustar o tamanho e a proporção da imagem de entrada, de modo que se ajustem aos requisitos do modelo.