Les API d'étiquetage d'images de ML Kit vous permettent de détecter et d'extraire des informations sur les entités d'une image dans un large groupe de catégories. Le modèle d'étiquetage d'images par défaut peut identifier des objets, des lieux, des activités, des espèces animales, des produits et plus encore.
Vous pouvez également utiliser un modèle de classification d'images personnalisé pour adapter la détection à un cas d'utilisation spécifique. Pour en savoir plus, consultez la section Utiliser un modèle TensorFlow Lite personnalisé.
Capacités clés
- Un puissant outil de classification de base à usage général Reconnaît plus de 400 catégories décrivant les objets les plus couramment trouvés sur les photos.
- Adaptez-vous à votre cas d'utilisation avec les modèles personnalisés Utilisez d'autres modèles pré-entraînés de TensorFlow Hub ou votre propre modèle personnalisé entraîné avec TensorFlow, AutoML Vision Edge ou TensorFlow Lite Model Maker.
- API de haut niveau faciles à utiliser Vous n'avez pas besoin de vous occuper des tâches d'entrée/sortie de bas niveau, du prétraitement et du post-traitement des images, ni de la création d'un pipeline de traitement. ML Kit extrait les étiquettes du modèle TensorFlow Lite et les fournit sous forme de description textuelle.
Notez que cette API est destinée aux modèles de classification d'images qui décrivent l'image complète. Pour la classification d'un ou de plusieurs objets dans une image, tels que des chaussures ou des meubles, l'API Détection et détection d'objets peut être mieux adaptée.
Modèles de classification d'images compatibles
Les API Image Labeling sont compatibles avec différents modèles de classification d'images:
| Modèles de classification d'images compatibles | |
|---|---|
| Modèle de base | Par défaut, l'API utilise un modèle puissant d'étiquetage d'images à usage général qui reconnaît plus de 400 entités couvrant les concepts les plus courants des photos. |
| Modèles TensorFlow Lite personnalisés | Pour cibler des concepts spécifiques à une application, l'API accepte les modèles de classification d'images personnalisés provenant d'un large éventail de sources. Il peut s'agir de modèles pré-entraînés téléchargés à partir de TensorFlow Hub, ou de vos propres modèles entraînés avec AutoML Vision Edge, TensorFlow Lite Model Maker ou TensorFlow lui-même. Les modèles peuvent être regroupés avec votre application ou hébergés avec Firebase Machine Learning, puis téléchargés au moment de l'exécution. |
Utiliser le modèle de base
Le modèle de base de ML Kit renvoie une liste d'entités qui identifient des personnes, des objets, des lieux, des activités, etc. Chaque entité est accompagnée d'un score qui indique la confiance du modèle de ML dans sa pertinence. Avec ces informations, vous pouvez effectuer des tâches telles que la génération automatique de métadonnées et la modération de contenu. Le modèle par défaut fourni avec ML Kit reconnaît plus de 400 entités différentes.
Exemples de libellés
Le modèle de base de l'API d'étiquetage d'images est compatible avec plus de 400 étiquettes, comme dans les exemples suivants:
| Catégorie | Exemples de libellés |
|---|---|
| Personnes | CrowdSelfieSmile |
| Activités | DancingEatingSurfing |
| Objets | CarPianoReceipt |
| Monde animal | BirdCatDog |
| Plantes | FlowerFruitVegetable |
| Places | BeachLakeMountain |
Exemples de résultats
Voici un exemple des entités reconnues dans la photo associée.
| Étiquette 0 | |
|---|---|
| Texte | Stade |
| Confiance | 0,9205354 |
| Label 1 | |
| Texte | Sport |
| Confiance | 0,7531109 |
| Label 2 | |
| Texte | Événement |
| Confiance | 0,66905296 |
| Label 3 | |
| Texte | Loisirs |
| Confiance | 0,59904146 |
| Label 4 | |
| Texte | Football |
| Confiance | 0,56384534 |
| Étiquette 5 | |
| Texte | Nette |
| Confiance | 0,54679185 |
| Étiquette 6 | |
| Texte | Plante |
| Confiance | 0,524364 |
Utiliser un modèle TensorFlow Lite personnalisé
Le modèle d'étiquetage d'images de base de ML Kit est conçu pour une utilisation générale. Il est entraîné à reconnaître 400 catégories qui décrivent les objets les plus couramment trouvés dans les photos. Votre application peut avoir besoin d'un modèle de classification d'images spécialisé qui reconnaisse plus en détail un plus petit nombre de catégories (par exemple, un modèle permettant de distinguer les espèces de fleurs ou les types de nourriture).
Cette API vous permet de l'adapter à un cas d'utilisation particulier en acceptant des modèles de classification d'images personnalisés provenant de nombreuses sources. Pour en savoir plus, consultez la page Modèles personnalisés avec ML Kit. Les modèles personnalisés peuvent être regroupés avec votre application ou téléchargés de manière dynamique à partir du cloud à l'aide du service de déploiement de modèles de Firebase Machine Learning.
Prétraitement des images d'entrée
Si nécessaire, l'étiquetage d'images utilise la mise à l'échelle et l'étirement bilinéaires de l'image afin d'ajuster la taille et le format de l'image d'entrée afin qu'ils répondent aux exigences du modèle sous-jacent.