Trang này được dịch bởi Cloud Translation API.

Phát hiện thông tin lưới khuôn mặt bằng Bộ công cụ học máy trên Android

Bạn có thể dùng Bộ công cụ học máy để phát hiện khuôn mặt trong các hình ảnh và video giống với ảnh chân dung tự chụp.

API phát hiện lưới khuôn mặt
Tên SDK	`face-mesh-detection`
Triển khai	Mã và tài sản được liên kết tĩnh với ứng dụng của bạn trong thời gian xây dựng.
Ảnh hưởng của kích thước ứng dụng	~6,4 MB
Hiệu suất	Theo thời gian thực trên hầu hết các thiết bị.

Dùng thử

Hãy khám phá ứng dụng mẫu để xem ví dụ về cách sử dụng API này.

Trước khi bắt đầu

API này yêu cầu API Android cấp 21 trở lên. Đảm bảo tệp bản dựng của ứng dụng sử dụng giá trị minSdkVersion từ 21 trở lên.

Trong tệp build.gradle cấp dự án, hãy nhớ đưa kho lưu trữ Maven của Google vào cả tập lệnh bản dựng và tất cả các phần dự án.
Thêm phần phụ thuộc cho thư viện phát hiện lưới khuôn mặt của Bộ công cụ học máy vào tệp gradle cấp ứng dụng của mô-đun, thường là app/build.gradle:
```
dependencies {
 // ...

 implementation 'com.google.mlkit:face-mesh-detection:16.0.0-beta1'
}
```

Nguyên tắc đối với hình ảnh nhập vào

Bạn nên chụp hình ảnh trong phạm vi ~2 mét (~7 feet) tính từ máy ảnh của thiết bị để các khuôn mặt đủ lớn nhằm nhận dạng lưới khuôn mặt một cách tối ưu. Nhìn chung, khuôn mặt càng lớn thì khả năng nhận dạng lưới khuôn mặt càng chính xác.
Khuôn mặt phải hướng về phía máy ảnh và cho thấy ít nhất một nửa khuôn mặt. Bất kỳ vật thể lớn nào nằm giữa khuôn mặt và camera đều có thể làm giảm độ chính xác.

Nếu muốn phát hiện khuôn mặt trong ứng dụng theo thời gian thực, bạn cũng nên xem xét kích thước tổng thể của hình ảnh đầu vào. Hình ảnh nhỏ hơn có thể được xử lý nhanh hơn, vì vậy, việc chụp ảnh ở độ phân giải thấp hơn sẽ giúp giảm độ trễ. Tuy nhiên, hãy lưu ý các yêu cầu về độ chính xác nêu trên và đảm bảo rằng khuôn mặt của đối tượng chiếm nhiều hình ảnh nhất có thể.

Định cấu hình trình phát hiện lưới khuôn mặt

Nếu bạn muốn thay đổi bất kỳ chế độ cài đặt mặc định nào của trình phát hiện lưới khuôn mặt, hãy chỉ định các chế độ cài đặt đó bằng đối tượng FaceMeshDetectorOptions. Bạn có thể thay đổi các chế độ cài đặt sau:

setUseCase
- BOUNDING_BOX_ONLY: Chỉ cung cấp một hộp giới hạn cho lưới khuôn mặt đã phát hiện. Đây là trình phát hiện khuôn mặt nhanh nhất, nhưng bị giới hạn phạm vi(các khuôn mặt phải nằm trong phạm vi ~2 mét hoặc ~7 feet so với máy ảnh).
- FACE_MESH (tuỳ chọn mặc định): Cung cấp hộp giới hạn và thông tin bổ sung về lưới khuôn mặt (468 điểm 3D và thông tin hình tam giác). Khi so với trường hợp sử dụng BOUNDING_BOX_ONLY, độ trễ tăng khoảng 15%, tính trên Pixel 3.

Ví dụ:

Kotlin

val defaultDetector = FaceMeshDetection.getClient(
  FaceMeshDetectorOptions.DEFAULT_OPTIONS)

val boundingBoxDetector = FaceMeshDetection.getClient(
  FaceMeshDetectorOptions.Builder()
    .setUseCase(UseCase.BOUNDING_BOX_ONLY)
    .build()
)

Java

FaceMeshDetector defaultDetector =
        FaceMeshDetection.getClient(
                FaceMeshDetectorOptions.DEFAULT_OPTIONS);

FaceMeshDetector boundingBoxDetector = FaceMeshDetection.getClient(
        new FaceMeshDetectorOptions.Builder()
                .setUseCase(UseCase.BOUNDING_BOX_ONLY)
                .build()
        );

Chuẩn bị hình ảnh đầu vào

Để phát hiện khuôn mặt trong hình ảnh, hãy tạo một đối tượng InputImage từ Bitmap, media.Image, ByteBuffer, mảng byte hoặc một tệp trên thiết bị. Sau đó, truyền đối tượng InputImage vào phương thức process của FaceDetector.

Để phát hiện lưới khuôn mặt, bạn nên dùng ảnh có kích thước tối thiểu là 480 x 360 pixel. Nếu bạn phát hiện khuôn mặt theo thời gian thực, thì việc chụp khung hình ở độ phân giải tối thiểu này có thể giúp giảm độ trễ.

Bạn có thể tạo một đối tượng InputImage từ nhiều nguồn. Mỗi nguồn sẽ được giải thích ở bên dưới.

Sử dụng `media.Image`

Để tạo một đối tượng InputImage từ đối tượng media.Image, chẳng hạn như khi bạn chụp ảnh bằng máy ảnh của thiết bị, hãy truyền đối tượng media.Image và chế độ xoay của hình ảnh đến InputImage.fromMediaImage().

Nếu bạn sử dụng thư viện CameraX, các lớp OnImageCapturedListener và ImageAnalysis.Analyzer sẽ tính giá trị chế độ xoay cho bạn.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

Nếu không sử dụng thư viện máy ảnh để cung cấp độ xoay của hình ảnh, bạn có thể tính độ xoay này dựa trên độ xoay của thiết bị và hướng của cảm biến máy ảnh trong thiết bị:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

Sau đó, hãy truyền đối tượng media.Image và giá trị độ xoay đến InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

Sử dụng URI tệp

Để tạo đối tượng InputImage từ URI tệp, hãy chuyển ngữ cảnh ứng dụng và URI tệp đến InputImage.fromFilePath(). Điều này rất hữu ích khi bạn sử dụng ý định ACTION_GET_CONTENT để nhắc người dùng chọn một hình ảnh từ ứng dụng thư viện của họ.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

Sử dụng `ByteBuffer` hoặc `ByteArray`

Để tạo một đối tượng InputImage từ ByteBuffer hoặc ByteArray, trước tiên, hãy tính toán độ xoay hình ảnh như mô tả trước đó cho dữ liệu đầu vào media.Image. Sau đó, hãy tạo đối tượng InputImage bằng vùng đệm hoặc mảng, cùng với chiều cao, chiều rộng, định dạng mã hoá màu và độ xoay của hình ảnh:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

Sử dụng `Bitmap`

Để tạo đối tượng InputImage từ đối tượng Bitmap, hãy khai báo sau:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

Hình ảnh được biểu thị bằng đối tượng Bitmap cùng với độ xoay.

Xử lý hình ảnh

Truyền hình ảnh vào phương thức process:

Kotlin

val result = detector.process(image)
        .addOnSuccessListener { result ->
            // Task completed successfully
            // …
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // …
        }

Java


Task<List<FaceMesh>> result = detector.process(image)
        .addOnSuccessListener(
                new OnSuccessListener<List<FaceMesh>>() {
                    @Override
                    public void onSuccess(List<FaceMesh> result) {
                        // Task completed successfully
                        // …
                    }
                })
        .addOnFailureListener(
                new OnFailureListener() {
                    @Override
                    Public void onFailure(Exception e) {
                        // Task failed with an exception
                        // …
                    }
                });

Nhận thông tin về lưới khuôn mặt đã phát hiện

Nếu phát hiện thấy khuôn mặt nào trong hình ảnh, thì danh sách đối tượng FaceMesh sẽ được chuyển đến trình nghe thành công. Mỗi FaceMesh đại diện cho một khuôn mặt được phát hiện trong hình ảnh. Đối với mỗi lưới khuôn mặt, bạn có thể nhận toạ độ giới hạn trong hình ảnh đầu vào, cũng như mọi thông tin khác mà bạn đã định cấu hình cho trình phát hiện lưới khuôn mặt để tìm.

Kotlin

for (faceMesh in faceMeshs) {
    val bounds: Rect = faceMesh.boundingBox()

    // Gets all points
    val faceMeshpoints = faceMesh.allPoints
    for (faceMeshpoint in faceMeshpoints) {
      val index: Int = faceMeshpoints.index()
      val position = faceMeshpoint.position
    }

    // Gets triangle info
    val triangles: List<Triangle<FaceMeshPoint>> = faceMesh.allTriangles
    for (triangle in triangles) {
      // 3 Points connecting to each other and representing a triangle area.
      val connectedPoints = triangle.allPoints()
    }
}

Java

for (FaceMesh faceMesh : faceMeshs) {
    Rect bounds = faceMesh.getBoundingBox();

    // Gets all points
    List<FaceMeshPoint> faceMeshpoints = faceMesh.getAllPoints();
    for (FaceMeshPoint faceMeshpoint : faceMeshpoints) {
        int index = faceMeshpoints.getIndex();
        PointF3D position = faceMeshpoint.getPosition();
    }

    // Gets triangle info
    List<Triangle<FaceMeshPoint>> triangles = faceMesh.getAllTriangles();
    for (Triangle<FaceMeshPoint> triangle : triangles) {
        // 3 Points connecting to each other and representing a triangle area.
        List<FaceMeshPoint> connectedPoints = triangle.getAllPoints();
    }
}

Phát hiện thông tin lưới khuôn mặt bằng Bộ công cụ học máy trên Android

Dùng thử

Trước khi bắt đầu

Nguyên tắc đối với hình ảnh nhập vào

Định cấu hình trình phát hiện lưới khuôn mặt

Kotlin

Java

Chuẩn bị hình ảnh đầu vào

Sử dụng media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

Sử dụng URI tệp

Kotlin

Java

Sử dụng ByteBuffer hoặc ByteArray

Kotlin

Java

Sử dụng Bitmap

Kotlin

Java

Xử lý hình ảnh

Kotlin

Java

Nhận thông tin về lưới khuôn mặt đã phát hiện

Kotlin

Java

Sử dụng `media.Image`

Sử dụng `ByteBuffer` hoặc `ByteArray`

Sử dụng `Bitmap`