Mit ML Kit können Sie Barcodes erkennen und decodieren.
Funktion | Nicht gebündelt | Gebündelt |
---|---|---|
Implementierung | Das Modell wird dynamisch über die Google Play-Dienste heruntergeladen. | Das Modell ist bei der Build-Erstellung statisch mit Ihrer App verknüpft. |
App-Größe | Etwa 200 KB. | Um etwa 2,4 MB. |
Initialisierungszeit | Sie müssen möglicherweise auf den Download warten, bevor das Modell verwendet werden kann. | Das Modell ist sofort verfügbar. |
Ausprobieren
- Probieren Sie die Beispiel-App aus, um sich ein Beispiel für die Verwendung dieser API anzusehen.
- In der Showcase Design App findest du eine End-to-End-Implementierung dieser API.
Hinweis
Achten Sie darauf, dass Sie in der Datei
build.gradle
auf Projektebene das Maven-Repository von Google in die Abschnittebuildscript
undallprojects
aufnehmen.Fügen Sie der Gradle-Datei auf Modulebene (in der Regel
app/build.gradle
) die Abhängigkeiten für die Android-Bibliotheken des ML Kits hinzu. Wählen Sie je nach Ihren Anforderungen eine der folgenden Abhängigkeiten aus:Wenn Sie das Modell mit Ihrer App kombinieren:
dependencies { // ... // Use this dependency to bundle the model with your app implementation 'com.google.mlkit:barcode-scanning:17.1.0' }
Zur Verwendung des Modells in Google Play-Diensten:
dependencies { // ... // Use this dependency to use the dynamically downloaded model in Google Play Services implementation 'com.google.android.gms:play-services-mlkit-barcode-scanning:18.2.0' }
Wenn Sie das Modell in den Google Play-Diensten verwenden, können Sie die App so konfigurieren, dass das Modell nach der Installation aus dem Play Store automatisch auf das Gerät heruntergeladen wird. Fügen Sie dazu der Datei
AndroidManifest.xml
Ihrer App die folgende Deklaration hinzu:<application ...> ... <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="barcode" > <!-- To use multiple models: android:value="barcode,model2,model3" --> </application>
Sie können die Modellverfügbarkeit auch explizit überprüfen und einen Download über die ModuleInstallClient API der Google Play-Dienste anfordern.
Wenn Sie das Herunterladen des Modells zur Installation nicht aktivieren oder einen expliziten Download anfordern, wird das Modell beim ersten Ausführen des Scanners heruntergeladen. Anfragen, die vor Abschluss des Downloads gesendet werden, führen zu keinem Ergebnis.
Richtlinien für Eingabebilder
-
Damit ML Kit Barcodes genau lesen kann, müssen Eingabebilder Barcodes enthalten, die durch genügend Pixeldaten dargestellt werden.
Die spezifischen Anforderungen an Pixeldaten hängen sowohl von der Art des Barcodes als auch von der in den Daten codierten Menge ab, da viele Barcodes eine Nutzlast mit variabler Größe unterstützen. Im Allgemeinen sollte die kleinste sinnvolle Einheit des Barcodes mindestens 2 Pixel breit und bei 2-dimensionalen Codes 2 Pixel hoch sein.
EAN-13-Barcodes bestehen z. B. aus Balken und Leerzeichen mit einer Breite von 1, 2, 3 oder 4 Teilen. Ein EAN-13-Barcodebild hat also idealerweise Balken und Leerzeichen mit einer Breite von 2, 4, 6 und 8 Pixeln. Da ein EAN-13-Barcode insgesamt 95 Einheiten hat, sollte er mindestens 190 Pixel breit sein.
Dichtere Formate, wie z. B. PDF417, benötigen größere Pixelabmessungen, damit ML Kit sie zuverlässig lesen kann. Beispielsweise kann ein PDF417-Code bis zu 34 Wörter mit einer Breite von 17 Einheiten in einer einzelnen Zeile enthalten, idealerweise mindestens 1.156 Pixel breit.
-
Ein schlechter Bildfokus kann die Scangenauigkeit beeinträchtigen. Wenn deine App keine akzeptablen Ergebnisse liefert, bitte den Nutzer, das Bild neu aufzunehmen.
-
Für typische Anwendungen wird empfohlen, ein Bild mit höherer Auflösung bereitzustellen, z. B. 1280 × 720 oder 1920 × 1080. Dadurch lassen sich Barcodes über eine größere Entfernung von der Kamera erkennen.
In Anwendungen, in denen die Latenz von entscheidender Bedeutung ist, können Sie die Leistung verbessern, indem Sie Bilder mit einer geringeren Auflösung erfassen. Dabei muss der Barcode jedoch den Großteil des Eingabebilds ausmachen. Weitere Informationen finden Sie unter Tipps zur Verbesserung der Echtzeitleistung.
1. Barcode-Scanner konfigurieren
Wenn Sie die zu lesenden Barcodeformate kennen, können Sie die Geschwindigkeit des Barcodedetektors verbessern, indem Sie ihn so konfigurieren, dass nur diese Formate erkannt werden.Wenn Sie beispielsweise nur Aztec- und QR-Codes erkennen möchten, erstellen Sie ein BarcodeScannerOptions
-Objekt wie im folgenden Beispiel:
Kotlin
val options = BarcodeScannerOptions.Builder() .setBarcodeFormats( Barcode.FORMAT_QR_CODE, Barcode.FORMAT_AZTEC) .build()
Java
BarcodeScannerOptions options = new BarcodeScannerOptions.Builder() .setBarcodeFormats( Barcode.FORMAT_QR_CODE, Barcode.FORMAT_AZTEC) .build();
Die folgenden Formate werden unterstützt:
- Code 128 (
FORMAT_CODE_128
) - Code 39 (
FORMAT_CODE_39
) - Code 93 (
FORMAT_CODE_93
) - Codabar (
FORMAT_CODABAR
) - EAN-13 (
FORMAT_EAN_13
) - EAN-8 (
FORMAT_EAN_8
) - ITF (
FORMAT_ITF
) - UPC-A (
FORMAT_UPC_A
) - UPC-E (
FORMAT_UPC_E
) - QR-Code (
FORMAT_QR_CODE
) - PDF417 (
FORMAT_PDF417
) - Aztek (
FORMAT_AZTEC
) - Data Matrix (
FORMAT_DATA_MATRIX
)
Ab dem gebündelten Modell 17.1.0 und dem nicht gebündelten Modell 18.2.0 können Sie enableAllPotentialBarcodes()
aufrufen, um alle potenziellen Barcodes zurückzugeben, auch wenn sie nicht decodiert werden können. Dies kann zur weiteren Erkennung verwendet werden. Beispielsweise lässt sich die Kamera heranzoomen, um ein klareres Bild von jedem Barcode im zurückgegebenen Begrenzungsrahmen zu erhalten.
Kotlin
val options = BarcodeScannerOptions.Builder() .setBarcodeFormats(...) .enableAllPotentialBarcodes() // Optional .build()
Java
BarcodeScannerOptions options = new BarcodeScannerOptions.Builder() .setBarcodeFormats(...) .enableAllPotentialBarcodes() // Optional .build();
2. Prepare the input image
To recognize barcodes in an image, create anInputImage
object
from either a Bitmap
, media.Image
, ByteBuffer
, byte array, or a file on
the device. Then, pass the InputImage
object to the
BarcodeScanner
's process
method.
You can create an InputImage
object from different sources, each is explained below.
Using a media.Image
To create an InputImage
object from a media.Image
object, such as when you capture an image from a
device's camera, pass the media.Image
object and the image's
rotation to InputImage.fromMediaImage()
.
If you use the
CameraX library, the OnImageCapturedListener
and
ImageAnalysis.Analyzer
classes calculate the rotation value
for you.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
Wenn Sie keine Kamerabibliothek verwenden, die Ihnen den Grad der Drehung des Bildes liefert, können Sie ihn anhand des Grades der Drehung und der Ausrichtung des Kamerasensors im Gerät berechnen:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
Übergeben Sie dann das media.Image
-Objekt und den Rotationsgradwert an InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
Datei-URI verwenden
Übergeben Sie den Anwendungskontext und den Datei-URI an InputImage.fromFilePath()
, um ein InputImage
-Objekt aus einem Datei-URI zu erstellen. Dies ist hilfreich, wenn Sie den Intent ACTION_GET_CONTENT
verwenden, um den Nutzer aufzufordern, ein Bild aus seiner Galerie-App auszuwählen.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
Mit ByteBuffer
oder ByteArray
Um ein InputImage
-Objekt aus einer ByteBuffer
oder ByteArray
zu erstellen, berechnen Sie zuerst den Grad der Bilddrehung, wie zuvor für die media.Image
-Eingabe beschrieben.
Dann erstellen Sie das InputImage
-Objekt mit dem Puffer oder Array. Erstellen Sie dabei Höhe, Breite, Farbcodierungsformat und Rotationsgrad des Bildes:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
Mit einem Bitmap
So erstellen Sie ein InputImage
-Objekt aus einem Bitmap
-Objekt:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
Das Bild wird durch ein Bitmap
-Objekt mit Rotationsgrad dargestellt.
3. BarcodeScanner-Instanz abrufen
Kotlin
val scanner = BarcodeScanning.getClient() // Or, to specify the formats to recognize: // val scanner = BarcodeScanning.getClient(options)
Java
BarcodeScanner scanner = BarcodeScanning.getClient(); // Or, to specify the formats to recognize: // BarcodeScanner scanner = BarcodeScanning.getClient(options);
4. Bild verarbeiten
Übergeben Sie das Bild an die Methodeprocess
:
Kotlin
val result = scanner.process(image) .addOnSuccessListener { barcodes -> // Task completed successfully // ... } .addOnFailureListener { // Task failed with an exception // ... }
Java
Task<List<Barcode>> result = scanner.process(image) .addOnSuccessListener(new OnSuccessListener<List<Barcode>>() { @Override public void onSuccess(List<Barcode> barcodes) { // Task completed successfully // ... } }) .addOnFailureListener(new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
5. Informationen von Barcodes abrufen
Wenn die Barcodeerkennung erfolgreich ist, wird eine Liste vonBarcode
-Objekten an den Erfolgs-Listener übergeben. Jedes Barcode
-Objekt stellt einen Barcode dar, der im Bild erkannt wurde. Für jeden Barcode können Sie die Begrenzungsrahmenkoordinaten im Eingabebild sowie die durch den Barcode codierten Rohdaten abrufen. Wenn der Barcode-Scanner den vom Barcode codierten Datentyp ermitteln konnte, können Sie auch ein Objekt mit geparsten Daten abrufen.
Beispiel:
Kotlin
for (barcode in barcodes) { val bounds = barcode.boundingBox val corners = barcode.cornerPoints val rawValue = barcode.rawValue val valueType = barcode.valueType // See API reference for complete list of supported types when (valueType) { Barcode.TYPE_WIFI -> { val ssid = barcode.wifi!!.ssid val password = barcode.wifi!!.password val type = barcode.wifi!!.encryptionType } Barcode.TYPE_URL -> { val title = barcode.url!!.title val url = barcode.url!!.url } } }
Java
for (Barcode barcode: barcodes) { Rect bounds = barcode.getBoundingBox(); Point[] corners = barcode.getCornerPoints(); String rawValue = barcode.getRawValue(); int valueType = barcode.getValueType(); // See API reference for complete list of supported types switch (valueType) { case Barcode.TYPE_WIFI: String ssid = barcode.getWifi().getSsid(); String password = barcode.getWifi().getPassword(); int type = barcode.getWifi().getEncryptionType(); break; case Barcode.TYPE_URL: String title = barcode.getUrl().getTitle(); String url = barcode.getUrl().getUrl(); break; } }
Tipps zur Verbesserung der Leistung in Echtzeit
Wenn Sie Barcodes in einer Echtzeitanwendung scannen möchten, folgen Sie diesen Richtlinien, um die besten Framerates zu erreichen:
-
Erfassen Sie keine Eingaben in der nativen Auflösung der Kamera. Auf manchen Geräten liefert die Aufnahme von Eingaben mit der nativen Auflösung extrem große Bilder (mit über 10 Megapixeln). Das führt zu einer sehr schlechten Latenz ohne genaue Genauigkeit. Fordern Sie stattdessen nur die Größe von der Kamera an, die zur Barcodeerkennung erforderlich ist (in der Regel nicht mehr als 2 Megapixel).
Wenn die Scangeschwindigkeit wichtig ist, können Sie die Auflösung der Bildaufnahme weiter verringern. Beachten Sie jedoch die oben genannten Mindestanforderungen für die Barcodegröße.
Wenn Sie versuchen, Barcodes aus einer Sequenz von Streaming-Videoframes zu erkennen, kann die Erkennung unterschiedliche Ergebnisse von Frame zu Frame liefern. Sie sollten warten, bis Sie eine aufeinanderfolgende Serie mit demselben Wert erhalten. So können Sie sicher sein, dass Sie ein gutes Ergebnis zurückgeben.
Die Prüfsummenziffer wird für ITF und CODE-39 nicht unterstützt.
- Wenn Sie die
Camera
odercamera2
API verwenden, drosseln Sie Aufrufe an den Detektor. Wenn während der Ausführung des Detektors ein neuer Videoframe verfügbar ist, lassen Sie den Frame los. Ein Beispiel dafür finden Sie in der Beispiel-AppVisionProcessorBase
. - Wenn du die
CameraX
API verwendest, muss die Rückdruckstrategie auf den StandardwertImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
festgelegt sein. So ist sichergestellt, dass immer nur ein Bild zur Analyse bereitgestellt wird. Wenn das Analysesystem ausgelastet ist, werden weitere Bilder automatisch gelöscht und nicht in die Auslieferung aufgenommen. Sobald das zu analysierende Bild durch Aufrufen von „ImageProxy.close()“ geschlossen wird, wird das nächste aktuelle Bild gesendet. - Wenn Sie die Ausgabe des Detektors verwenden, um Grafiken auf dem Eingabebild einzublenden, erhalten Sie zuerst das Ergebnis aus ML Kit und rendern Sie dann das Bild und das Overlay in einem einzigen Schritt. Dies wird für jeden Eingabeframe nur einmal auf der Anzeigeoberfläche gerendert. Ein Beispiel dafür finden Sie in den Beispielklassen
CameraSourcePreview
undGraphicOverlay
in der Kurzanleitung. - Wenn Sie die Camera2 API verwenden, erfassen Sie Bilder im
ImageFormat.YUV_420_888
-Format. Wenn Sie die ältere Camera API verwenden, sollten Sie Bilder im FormatImageFormat.NV21
aufnehmen.