Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Bildlabels

Mit ML Kit APIs können Sie Informationen zu Entitäten in einem Bild in einer Vielzahl von Kategorien erkennen und extrahieren. Mit dem Standard-Bildlabeling-Modell können allgemeine Objekte, Orte, Aktivitäten, Tierarten, Produkte und mehr identifiziert werden.

Sie können auch ein benutzerdefiniertes Bildklassifizierungsmodell verwenden, um die Erkennung auf einen bestimmten Anwendungsfall zuzuschneiden. Weitere Informationen finden Sie unter Benutzerdefiniertes TensorFlow Lite-Modell verwenden.

Hauptmerkmale

  • Leistungsstarker, universeller Basisklassifikator Erkennt mehr als 400 Kategorien, die die am häufigsten verwendeten Objekte auf Fotos beschreiben.
  • Mit benutzerdefinierten Modellen auf Ihren Anwendungsfall zuschneiden Verwenden Sie andere vortrainierte Modelle aus TensorFlow Hub oder Ihr eigenes benutzerdefiniertes Modell, das mit TensorFlow, AutoML Vision Edge oder TensorFlow Lite Model Maker trainiert wurde.
  • Nutzerfreundliche APIs auf hoher Ebene Sie müssen nicht mit Modelleingabe/-ausgabe auf niedriger Ebene, Bildvor- und -nachbearbeitung oder dem Erstellen einer Verarbeitungspipeline umgehen. ML Kit extrahiert die Labels aus dem TensorFlow Lite-Modell und stellt sie als Textbeschreibung bereit.

Diese API ist für Modelle zur Bildklassifizierung vorgesehen, die das vollständige Bild beschreiben. Für die Klassifizierung von einem oder mehreren Objekten in einem Bild, z. B. Schuhen oder Möbeln, ist die Objekterkennungs-API möglicherweise besser geeignet.

Unterstützte Modelle zur Bildklassifizierung

Die Image Labeling APIs unterstützen verschiedene Modelle zur Bildklassifizierung:

Unterstützte Modelle zur Bildklassifizierung
Basismodell Standardmäßig verwendet die API ein leistungsstarkes allgemeines Bildlabelmodell, das mehr als 400 Entitäten erkennt, die die gängigsten Konzepte in Fotos abdecken.
Benutzerdefinierte TensorFlow Lite-Modelle Für die Ausrichtung auf anwendungsspezifische Konzepte akzeptiert die API benutzerdefinierte Modelle zur Bildklassifizierung aus einer Vielzahl von Quellen. Dies können vortrainierte Modelle sein, die aus TensorFlow Hub heruntergeladen wurden, oder Ihre eigenen Modelle, die mit AutoML Vision Edge, TensorFlow Lite Model Maker oder TensorFlow selbst trainiert wurden. Modelle können mit Ihrer App gebündelt oder mit Firebase Machine Learning gehostet und zur Laufzeit heruntergeladen werden.

Basismodell verwenden

Das Basismodell von ML Kit gibt eine Liste von Entitäten zurück, mit denen Personen, Dinge, Orte, Aktivitäten usw. identifiziert werden können. Jede Entität erhält einen Wert, der die Konfidenz des ML-Modells in Bezug auf die Relevanz angibt. Mit diesen Informationen können Sie Aufgaben wie die automatische Metadatengenerierung und Inhaltsmoderation ausführen. Das mit ML Kit bereitgestellte Standardmodell erkennt mehr als 400 verschiedene Entitäten.

iOS Android-Geräte

Beispiellabels

Das Basismodell in der Image Labeling API unterstützt mehr als 400 Labels, z. B. die folgenden:

KategorieBeispiellabels
Personen Crowd
Selfie
Smile
Aktivitäten Dancing
Eating
Surfing
Dinge Car
Piano
Receipt
Tiere Bird
Cat
Dog
Pflanzen Flower
Fruit
Vegetable
Orte Beach
Lake
Mountain

Beispielergebnisse

Hier sehen Sie ein Beispiel für die Entitäten, die im zugehörigen Foto erkannt wurden.

Foto: Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
Label 0
Text Stadien
Zuverlässigkeit 0,9205354
Label 1
Text Sport
Zuverlässigkeit 0,7531109
Label 2
Text Veranstaltung
Zuverlässigkeit 0,66905296
Label 3
Text Freizeit
Zuverlässigkeit 0,59904146
Label 4
Text Fußball
Zuverlässigkeit 0,56384534
Label 5
Text Netto
Zuverlässigkeit 0,54679185
Label 6
Text Pflanze
Zuverlässigkeit 0,524364

Benutzerdefiniertes TensorFlow Lite-Modell verwenden

Das ML Kit-Basismodell zur Labelerstellung für Bilder ist für allgemeine Zwecke entwickelt. Sie lernen, 400 Kategorien zu erkennen, die die am häufigsten verwendeten Objekte auf Fotos beschreiben. Für Ihre Anwendung ist möglicherweise ein spezielles Bildklassifizierungsmodell erforderlich, das eine engere Anzahl von Kategorien erkennt. Ein Modell kann beispielsweise zwischen verschiedenen Arten von Blumen oder Nahrungsmitteln unterscheiden.

Mit dieser API können Sie auf einen bestimmten Anwendungsfall zuschneiden, indem Sie benutzerdefinierte Bildklassifizierungsmodelle aus einer Vielzahl von Quellen unterstützen. Weitere Informationen finden Sie unter Benutzerdefinierte Modelle mit ML Kit. Benutzerdefinierte Modelle können mit Ihrer App gebündelt oder dynamisch aus der Cloud heruntergeladen werden. Dies ist der Modellbereitstellungsdienst von Firebase Machine Learning.

iOS Android-Geräte

Eingabebild vorverarbeiten

Bei Bedarf nutzt das Image Labeling bilineare Skalierung und Dehnung, um die Größe und das Seitenverhältnis des Eingabebildes an die Anforderungen des zugrunde liegenden Modells anzupassen.