Gesichts-Mesh-Informationen mit ML Kit auf Android erkennen

Mit ML Kit können Sie Gesichter in selfieähnlichen Bildern und Videos erkennen.

Face Mesh Detection API
SDK-Name	`face-mesh-detection`
Implementierung	Code und Assets werden zur Build-Zeit statisch mit Ihrer App verknüpft.
Auswirkungen auf die App-Größe	~6,4 MB
Leistung	Echtzeit auf den meisten Geräten.

Jetzt ausprobieren

Probieren Sie die Beispiel-App aus, um ein Anwendungsbeispiel für diese API zu sehen.

Hinweis

Diese API erfordert Android API-Level 23 oder höher. Die Build -Datei Ihrer App muss einen minSdkVersion-Wert von 23 oder höher verwenden.

In die Datei build.gradle auf Projektebene muss das Maven-Repository von Google in die Abschnitte `buildscript` und `allprojects` aufgenommen werden.
Fügen Sie die Abhängigkeit für die ML Kit Face Mesh Detection Library der Gradle-Datei auf App-Ebene Ihres Moduls hinzu, die normalerweise app/build.gradle ist:
```
dependencies {
 // ...

 implementation 'com.google.mlkit:face-mesh-detection:16.0.0-beta1'
}
```

Richtlinien für Eingabebilder

Bilder sollten in einem Abstand von etwa 2 Metern von der Gerätekamera aufgenommen werden, damit die Gesichter groß genug für eine optimale Face Mesh-Erkennung sind. Im Allgemeinen gilt: Je größer das Gesicht, desto besser die Face Mesh-Erkennung.
Das Gesicht sollte der Kamera zugewandt sein und mindestens die Hälfte des Gesichts sollte sichtbar sein. Große Objekte zwischen dem Gesicht und der Kamera können zu einer geringeren Genauigkeit führen.

Wenn Sie Gesichter in einer Echtzeitanwendung erkennen möchten, sollten Sie auch die Gesamtabmessungen des Eingabebilds berücksichtigen. Kleinere Bilder können schneller verarbeitet werden. Wenn Sie Bilder mit einer niedrigeren Auflösung aufnehmen, wird die Latenz reduziert. Beachten Sie jedoch die oben genannten Genauigkeitsanforderungen und sorgen Sie dafür, dass das Gesicht des Motivs so viel Platz wie möglich im Bild einnimmt.

Face Mesh-Detektor konfigurieren

Wenn Sie eine der Standardeinstellungen des Face Mesh-Detektors ändern möchten, geben Sie diese Einstellungen mit einem FaceMeshDetectorOptions -Objekt an. Sie können die folgenden Einstellungen ändern:

setUseCase
- BOUNDING_BOX_ONLY: Stellt nur einen Begrenzungsrahmen für ein erkanntes Face Mesh bereit. Dies ist der schnellste Face-Detektor, hat aber eine Reichweitenbegrenzung(Gesichter müssen sich in einem Abstand von etwa 2 Metern von der Kamera befinden).
- FACE_MESH (Standardoption): Stellt einen Begrenzungsrahmen und zusätzliche Face Mesh-Informationen bereit (468 3D-Punkte und Dreiecksinformationen). Im Vergleich zum Anwendungsfall BOUNDING_BOX_ONLY erhöht sich die Latenz um etwa 15%, gemessen auf einem Pixel 3.

Beispiel:

Kotlin

val defaultDetector = FaceMeshDetection.getClient(
  FaceMeshDetectorOptions.DEFAULT_OPTIONS)

val boundingBoxDetector = FaceMeshDetection.getClient(
  FaceMeshDetectorOptions.Builder()
    .setUseCase(UseCase.BOUNDING_BOX_ONLY)
    .build()
)

Java

FaceMeshDetector defaultDetector =
        FaceMeshDetection.getClient(
                FaceMeshDetectorOptions.DEFAULT_OPTIONS);

FaceMeshDetector boundingBoxDetector = FaceMeshDetection.getClient(
        new FaceMeshDetectorOptions.Builder()
                .setUseCase(UseCase.BOUNDING_BOX_ONLY)
                .build()
        );

Eingabebild vorbereiten

Wenn Sie Gesichter in einem Bild erkennen möchten, erstellen Sie ein InputImage-Objekt aus einem Bitmap, media.Image, ByteBuffer, Byte-Array oder einer Datei auf dem Gerät. Übergeben Sie dann das InputImage-Objekt an die Methode process des FaceDetector.

Für die Face Mesh-Erkennung sollten Sie ein Bild mit einer Auflösung von mindestens 480 × 360 Pixeln verwenden. Wenn Sie Gesichter in Echtzeit erkennen, kann das Aufnehmen von Bildern mit dieser Mindestauflösung die Latenz reduzieren.

Sie können ein InputImage Objekt aus verschiedenen Quellen erstellen. Jede wird unten erläutert.

`media.Image` verwenden

Wenn Sie ein InputImage Objekt aus einem media.Image Objekt erstellen möchten, z. B. wenn Sie ein Bild mit der Kamera eines Geräts aufnehmen, übergeben Sie das media.Image Objekt und die Drehung des Bilds an InputImage.fromMediaImage().

Wenn Sie die CameraX-Bibliothek verwenden, berechnen die Klassen OnImageCapturedListener und ImageAnalysis.Analyzer den Drehungswert für Sie.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Wenn Sie keine Kamerabibliothek verwenden, die Ihnen den Drehwinkel des Bilds liefert, können Sie ihn aus dem Drehwinkel des Geräts und der Ausrichtung des Kamerasensors im Gerät berechnen:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Übergeben Sie dann das media.Image-Objekt und den Drehwinkelwert an InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Datei-URI verwenden

Wenn Sie ein InputImage Objekt aus einer Datei-URI erstellen möchten, übergeben Sie den App-Kontext und die Datei-URI an InputImage.fromFilePath(). Dies ist nützlich, wenn Sie mit einem ACTION_GET_CONTENT Intent den Nutzer auffordern, ein Bild aus seiner Galerie-App auszuwählen.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

`ByteBuffer` oder `ByteArray` verwenden

Wenn Sie ein InputImage Objekt aus einem ByteBuffer oder einem ByteArray erstellen möchten, berechnen Sie zuerst den Drehwinkel des Bilds wie zuvor für die Eingabe von media.Image beschrieben. Erstellen Sie dann das -Objekt mit dem Puffer oder Array sowie der Höhe, Breite, Farbcodierung und dem Drehwinkel des Bilds:InputImage

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

`Bitmap` verwenden

Wenn Sie ein InputImage -Objekt aus einem Bitmap-Objekt erstellen möchten, verwenden Sie die folgende Deklaration:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

Das Bild wird durch ein Bitmap-Objekt zusammen mit den Drehwinkeln dargestellt.

Bild verarbeiten

Übergeben Sie das Bild an die Methode process:

Kotlin

val result = detector.process(image)
        .addOnSuccessListener { result ->
            // Task completed successfully
            // …
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // …
        }

Java

Task<List<FaceMesh>> result = detector.process(image)
        .addOnSuccessListener(
                new OnSuccessListener<List<FaceMesh>>() {
                    @Override
                    public void onSuccess(List<FaceMesh> result) {
                        // Task completed successfully
                        // …
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    Public void onFailure(Exception e) {
                        // Task failed with an exception
                        // …
                    }
                });

Informationen zum erkannten Face Mesh abrufen

Wenn im Bild ein Gesicht erkannt wird, wird eine Liste von FaceMesh-Objekten an den Erfolgslistener übergeben. Jedes FaceMesh stellt ein Gesicht dar, das im Bild erkannt wurde. Für jedes Face Mesh können Sie die Begrenzungskoordinaten im Eingabebild sowie alle anderen Informationen abrufen, die Sie für den Face Mesh-Detektor konfiguriert haben.

Kotlin

for (faceMesh in faceMeshs) {
    val bounds: Rect = faceMesh.boundingBox()

    // Gets all points
    val faceMeshpoints = faceMesh.allPoints
    for (faceMeshpoint in faceMeshpoints) {
      val index: Int = faceMeshpoints.index()
      val position = faceMeshpoint.position
    }

    // Gets triangle info
    val triangles: List<Triangle<FaceMeshPoint>> = faceMesh.allTriangles
    for (triangle in triangles) {
      // 3 Points connecting to each other and representing a triangle area.
      val connectedPoints = triangle.allPoints()
    }
}

Java

for (FaceMesh faceMesh : faceMeshs) {
    Rect bounds = faceMesh.getBoundingBox();

    // Gets all points
    List<FaceMeshPoint> faceMeshpoints = faceMesh.getAllPoints();
    for (FaceMeshPoint faceMeshpoint : faceMeshpoints) {
        int index = faceMeshpoints.getIndex();
        PointF3D position = faceMeshpoint.getPosition();
    }

    // Gets triangle info
    List<Triangle<FaceMeshPoint>> triangles = faceMesh.getAllTriangles();
    for (Triangle<FaceMeshPoint> triangle : triangles) {
        // 3 Points connecting to each other and representing a triangle area.
        List<FaceMeshPoint> connectedPoints = triangle.getAllPoints();
    }
}

Gesichts-Mesh-Informationen mit ML Kit auf Android erkennen Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Jetzt ausprobieren

Hinweis

Richtlinien für Eingabebilder

Face Mesh-Detektor konfigurieren

Kotlin

Java

Eingabebild vorbereiten

media.Image verwenden

Kotlin

Java

Kotlin

Java

Kotlin

Java

Datei-URI verwenden

Kotlin

Java

ByteBuffer oder ByteArray verwenden

Kotlin

Java

Bitmap verwenden

Kotlin

Java

Bild verarbeiten

Kotlin

Java

Informationen zum erkannten Face Mesh abrufen

Kotlin

Java

Gesichts-Mesh-Informationen mit ML Kit auf Android erkennen

`media.Image` verwenden

`ByteBuffer` oder `ByteArray` verwenden

`Bitmap` verwenden