Se usó la API de Cloud Translation para traducir esta página.

Detecta información de la malla facial con el Kit de AA en Android

Puedes usar ML Kit para detectar rostros en imágenes y videos estilo selfie.

API de detección de malla de rostros
Nombre del SDK	`face-mesh-detection`
Implementación	El código y los recursos se vinculan de forma estática a tu app durante el tiempo de compilación.
Impacto en el tamaño de la app	~6.4MB
Rendimiento	En tiempo real en la mayoría de los dispositivos.

Probar

Prueba la app de ejemplo para ver un ejemplo de uso de esta API.

Antes de comenzar

Esta API requiere un nivel de API de Android 19 o superior. Asegúrate de que el archivo de compilación de tu app use un valor minSdkVersion de 19 o superior.

En tu archivo build.gradle de nivel de proyecto, asegúrate de incluir el repositorio Maven de Google en las secciones buildscript y allprojects.
Agrega la dependencia para la biblioteca de detección de malla de rostros del Kit de AA al archivo Gradle a nivel de la app de tu módulo, que suele ser app/build.gradle:
```
dependencies {
 // ...

 implementation 'com.google.mlkit:face-mesh-detection:16.0.0-beta1'
}
```

Lineamientos para imágenes de entrada

Las imágenes deben tomarse en un plazo aproximado de 2 metros (7 pies) de la cámara del dispositivo, de modo que los rostros sean lo suficientemente grandes como para lograr un reconocimiento óptimo de la malla facial. En general, cuanto más grande sea el rostro, mejor será el reconocimiento de la malla.
El rostro debe apuntar hacia la cámara con al menos la mitad del rostro visible. Cualquier objeto grande entre el rostro y la cámara puede reducir la exactitud.

Si deseas detectar rostros en una aplicación en tiempo real, también debes considerar las dimensiones generales de la imagen de entrada. Las imágenes más pequeñas se pueden procesar más rápido, por lo que capturar imágenes con resoluciones más bajas reduce la latencia. Sin embargo, ten en cuenta los requisitos de exactitud anteriores y asegúrate de que el rostro del sujeto ocupe la mayor cantidad de imágenes posible.

Configura el detector de malla facial

Si deseas cambiar la configuración predeterminada del detector de mallas faciales, especifica esa configuración con un objeto FaceMeshDetectorOptions. Puedes cambiar las siguientes opciones de configuración:

setUseCase
- BOUNDING_BOX_ONLY: Solo proporciona un cuadro de límite para una malla de rostros detectada. Este es el detector de rostros más rápido, pero tiene una limitación de alcance(los rostros deben estar a aproximadamente 2 metros o 7 pies de distancia de la cámara).
- FACE_MESH (opción predeterminada): Proporciona un cuadro de límite y otra información de malla de rostros (468 puntos 3D y datos de triángulos). En comparación con el caso de uso de BOUNDING_BOX_ONLY, la latencia aumenta aproximadamente un 15%, según el Pixel 3.

Por ejemplo:

Kotlin

val defaultDetector = FaceMeshDetection.getClient(
  FaceMeshDetectorOptions.DEFAULT_OPTIONS)

val boundingBoxDetector = FaceMeshDetection.getClient(
  FaceMeshDetectorOptions.Builder()
    .setUseCase(UseCase.BOUNDING_BOX_ONLY)
    .build()
)

Java

FaceMeshDetector defaultDetector =
        FaceMeshDetection.getClient(
                FaceMeshDetectorOptions.DEFAULT_OPTIONS);

FaceMeshDetector boundingBoxDetector = FaceMeshDetection.getClient(
        new FaceMeshDetectorOptions.Builder()
                .setUseCase(UseCase.BOUNDING_BOX_ONLY)
                .build()
        );

Prepara la imagen de entrada

Para detectar rostros en una imagen, crea un objeto InputImage a partir de Bitmap, media.Image, ByteBuffer, un array de bytes o un archivo ubicado en el dispositivo. Luego, pasa el objeto InputImage al método process de FaceDetector.

Para la detección de mallas faciales, debes usar una imagen de al menos 480x360 píxeles. Si detectas rostros en tiempo real, capturar fotogramas con esta resolución mínima puede ayudar a reducir la latencia.

Puedes crear un objeto InputImage a partir de diferentes fuentes, que se explican a continuación.

Usa un `media.Image`

Para crear un objeto InputImage a partir de un objeto media.Image, como cuando capturas una imagen con la cámara de un dispositivo, pasa el objeto media.Image y la rotación de la imagen a InputImage.fromMediaImage().

Si usas la biblioteca CameraX, las clases OnImageCapturedListener y ImageAnalysis.Analyzer calculan el valor de rotación por ti.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Si no usas una biblioteca de cámaras que te proporcione el grado de rotación de la imagen, puedes calcularla a partir de la rotación del dispositivo y la orientación del sensor de la cámara en el dispositivo:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Luego, pasa el objeto media.Image y el valor de grado de rotación a InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Usa un URI de archivo

Para crear un objeto InputImage a partir de un URI de archivo, pasa el contexto de la app y el URI de archivo a InputImage.fromFilePath(). Esto es útil cuando usas un intent ACTION_GET_CONTENT para solicitarle al usuario que seleccione una imagen de su app de galería.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Usa `ByteBuffer` o `ByteArray`

Para crear un objeto InputImage a partir de ByteBuffer o ByteArray, primero calcula el grado de rotación de la imagen como se describió anteriormente en la entrada media.Image. Luego, crea el objeto InputImage con el búfer o array, junto con la altura, el ancho, el formato de codificación de color y el grado de rotación de la imagen:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

Usa un `Bitmap`

Para crear un objeto InputImage a partir de un objeto Bitmap, realiza la siguiente declaración:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

La imagen está representada por un objeto Bitmap junto con los grados de rotación.

Procesa la imagen

Pasa la imagen al método process:

Kotlin

val result = detector.process(image)
        .addOnSuccessListener { result ->
            // Task completed successfully
            // …
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // …
        }

Java


Task<List<FaceMesh>> result = detector.process(image)
        .addOnSuccessListener(
                new OnSuccessListener<List<FaceMesh>>() {
                    @Override
                    public void onSuccess(List<FaceMesh> result) {
                        // Task completed successfully
                        // …
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    Public void onFailure(Exception e) {
                        // Task failed with an exception
                        // …
                    }
                });

Obtén información sobre la malla de rostros detectada

Si se detecta algún rostro en la imagen, se pasa una lista de objetos FaceMesh al objeto de escucha que detecta el resultado correcto. Cada FaceMesh representa un rostro que se detectó en la imagen. Para cada malla de rostros, puedes obtener las coordenadas de sus límites en la imagen de entrada, junto con cualquier otra información que encuentre el detector de mallas faciales.

Kotlin

for (faceMesh in faceMeshs) {
    val bounds: Rect = faceMesh.boundingBox()

    // Gets all points
    val faceMeshpoints = faceMesh.allPoints
    for (faceMeshpoint in faceMeshpoints) {
      val index: Int = faceMeshpoints.index()
      val position = faceMeshpoint.position
    }

    // Gets triangle info
    val triangles: List<Triangle<FaceMeshPoint>> = faceMesh.allTriangles
    for (triangle in triangles) {
      // 3 Points connecting to each other and representing a triangle area.
      val connectedPoints = triangle.allPoints()
    }
}

Java

for (FaceMesh faceMesh : faceMeshs) {
    Rect bounds = faceMesh.getBoundingBox();

    // Gets all points
    List<FaceMeshPoint> faceMeshpoints = faceMesh.getAllPoints();
    for (FaceMeshPoint faceMeshpoint : faceMeshpoints) {
        int index = faceMeshpoints.getIndex();
        PointF3D position = faceMeshpoint.getPosition();
    }

    // Gets triangle info
    List<Triangle<FaceMeshPoint>> triangles = faceMesh.getAllTriangles();
    for (Triangle<FaceMeshPoint> triangle : triangles) {
        // 3 Points connecting to each other and representing a triangle area.
        List<FaceMeshPoint> connectedPoints = triangle.getAllPoints();
    }
}

Detecta información de la malla facial con el Kit de AA en Android

Probar

Antes de comenzar

Lineamientos para imágenes de entrada

Configura el detector de malla facial

Kotlin

Java

Prepara la imagen de entrada

Usa un media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

Usa un URI de archivo

Kotlin

Java

Usa ByteBuffer o ByteArray

Kotlin

Java

Usa un Bitmap

Kotlin

Java

Procesa la imagen

Kotlin

Java

Obtén información sobre la malla de rostros detectada

Kotlin

Java

Usa un `media.Image`

Usa `ByteBuffer` o `ByteArray`

Usa un `Bitmap`