Les API d'étiquetage d'images de ML Kit vous permettent de détecter et d'extraire des informations sur les entités d'une image dans un large groupe de catégories. Le modèle d'étiquetage d'images par défaut peut identifier des objets généraux, des lieux, des activités, des espèces animales, des produits, etc.
Vous pouvez également utiliser un modèle de classification d'images personnalisé pour adapter la détection à un cas d'utilisation spécifique. Pour en savoir plus, consultez la page Utiliser un modèle TensorFlow Lite personnalisé.
Capacités clés
- Un classificateur de base puissant à usage général Reconnaît plus de 400 catégories décrivant les objets les plus couramment trouvés dans les photos.
- Adaptez les modèles à votre cas d'utilisation avec les modèles personnalisés Utilisez d'autres modèles pré-entraînés de TensorFlow Hub ou votre propre modèle personnalisé entraîné avec TensorFlow, AutoML Vision Edge ou TensorFlow Lite Model Maker.
- API de haut niveau faciles à utiliser Vous n'avez pas besoin de gérer les entrées/sorties de modèles de bas niveau, le prétraitement et le post-traitement d'images, ni la création d'un pipeline de traitement. ML Kit extrait les étiquettes du modèle TensorFlow Lite et les fournit sous forme de description textuelle.
Notez que cette API est destinée aux modèles de classification d'images qui décrivent l'image complète. Pour classer un ou plusieurs objets dans une image, tels que des chaussures ou des meubles, l'API Object Detection & Tracking peut être plus appropriée.
Modèles de classification d'images compatibles
Les API Image Labeling sont compatibles avec différents modèles de classification d'images:
| Modèles de classification d'images compatibles | |
|---|---|
| Modèle de base | Par défaut, l'API utilise un modèle d'étiquetage d'images puissant et polyvalent. Celui-ci reconnaît plus de 400 entités et couvre les concepts les plus couramment utilisés dans les photos. |
| Modèles TensorFlow Lite personnalisés | Pour cibler les concepts propres à l'application, l'API accepte des modèles de classification d'images personnalisés provenant d'un large éventail de sources. Il peut s'agir de modèles pré-entraînés téléchargés depuis TensorFlow Hub, ou de vos propres modèles entraînés avec AutoML Vision Edge, TensorFlow Lite Model Maker ou TensorFlow. Les modèles peuvent être regroupés avec votre application ou hébergés avec Firebase Machine Learning, puis téléchargés au moment de l'exécution. |
Utiliser le modèle de base
Le modèle de base de ML Kit renvoie une liste d'entités qui identifient des personnes, des choses, des lieux, des activités, etc. Chaque entité est associée à un score, qui indique le degré de confiance du modèle de ML dans sa pertinence. Grâce à ces informations, vous pouvez effectuer des tâches telles que la génération automatique de métadonnées et la modération de contenu. Le modèle par défaut fourni avec ML Kit reconnaît plus de 400 entités différentes.
Exemples de libellés
Le modèle de base de l'API d'étiquetage d'images accepte plus de 400 étiquettes, comme dans les exemples suivants:
| Catégorie | Exemples de libellés |
|---|---|
| Personnes | CrowdSelfieSmile |
| Activités | DancingEatingSurfing |
| Objets | CarPianoReceipt |
| Animaux | BirdCatDog |
| Plantes | FlowerFruitVegetable |
| Places | BeachLakeMountain |
Exemples de résultats
Voici un exemple des entités reconnues sur la photo associée.
| Libellé 0 | |
|---|---|
| Texte | Stade |
| Confiance | 0,9205354 |
| Label 1 | |
| Texte | Sport |
| Confiance | 0,7531109 |
| Label 2 | |
| Texte | Événement |
| Confiance | 0,66905296 |
| Label 3 | |
| Texte | Loisirs |
| Confiance | 0,59904146 |
| Label 4 | |
| Texte | Football |
| Confiance | 0,56384534 |
| Étiquette 5 | |
| Texte | Nette |
| Confiance | 0,54679185 |
| Libellé 6 | |
| Texte | Plante |
| Confiance | 0,524364 |
Utiliser un modèle TensorFlow Lite personnalisé
Le modèle d'étiquetage d'image de base de ML Kit est conçu pour un usage général. Il est entraîné à reconnaître 400 catégories décrivant les objets les plus couramment trouvés dans les photos. Votre application peut avoir besoin d'un modèle spécialisé de classification d'images capable de reconnaître plus en détail un plus petit nombre de catégories, comme un modèle qui fait la distinction entre des espèces de fleurs ou des types d'aliments.
Cette API vous permet de vous adapter à un cas d'utilisation particulier en acceptant des modèles de classification d'images personnalisés provenant d'un large éventail de sources. Pour en savoir plus, consultez la section Modèles personnalisés avec ML Kit. Vous pouvez regrouper les modèles personnalisés avec votre application ou les télécharger de manière dynamique depuis le cloud à l'aide du service de déploiement de modèles de Firebase Machine Learning.
Prétraitement de l'image d'entrée
Si nécessaire, la fonctionnalité d'étiquetage d'images utilise la mise à l'échelle bilinéaire et l'étirement pour ajuster la taille et le format de l'image d'entrée afin de répondre aux exigences du modèle sous-jacent.