Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Phân đoạn ảnh tự chụp chân dung bằng Bộ công cụ học máy trên iOS

Bộ công cụ học máy cung cấp một SDK được tối ưu hoá cho tính năng phân đoạn ảnh tự chụp. Các thành phần của Trình phân đoạn ảnh tự chụp được liên kết tĩnh với ứng dụng của bạn trong thời gian xây dựng. Điều này sẽ làm tăng kích thước ứng dụng của bạn lên đến 24 MB và độ trễ của API có thể dao động từ khoảng 7 ms đến khoảng 12 ms, tuỳ thuộc vào kích thước hình ảnh đầu vào, theo kết quả đo trên iPhone X.

Dùng thử

Hãy dùng thử ứng dụng mẫu để xem ví dụ về cách sử dụng API này.

Trước khi bắt đầu

Đưa các thư viện Bộ công cụ học máy sau vào Podfile:
```
pod 'GoogleMLKit/SegmentationSelfie', '8.0.0'
```
Sau khi bạn cài đặt hoặc cập nhật Pod của dự án, hãy mở dự án Xcode bằng .xcworkspace. Bộ công cụ học máy được hỗ trợ trong Xcode phiên bản 13.2.1 trở lên.

1. Tạo một thực thể của Trình phân đoạn

Để phân đoạn ảnh tự chụp, trước tiên, hãy tạo một thực thể của Segmenter bằng SelfieSegmenterOptions và tuỳ ý chỉ định các chế độ cài đặt phân đoạn.

Lựa chọn trình phân đoạn

Chế độ trình phân đoạn

Segmenter hoạt động ở 2 chế độ. Hãy nhớ chọn chế độ phù hợp với trường hợp sử dụng của bạn.

STREAM_MODE (default)

Chế độ này được thiết kế để truyền trực tuyến các khung hình từ video hoặc máy ảnh. Ở chế độ này, trình phân đoạn sẽ tận dụng kết quả từ các khung hình trước đó để trả về kết quả phân đoạn mượt mà hơn.

SINGLE_IMAGE_MODE (default)

Chế độ này được thiết kế cho các hình ảnh riêng lẻ không liên quan. Ở chế độ này, trình phân đoạn sẽ xử lý từng hình ảnh một cách độc lập, không làm mượt các khung hình.

Bật mặt nạ kích thước thô

Yêu cầu trình phân đoạn trả về mặt nạ kích thước thô khớp với kích thước đầu ra của mô hình.

Kích thước mặt nạ thô (ví dụ: 256x256) thường nhỏ hơn kích thước hình ảnh đầu vào.

Nếu không chỉ định tuỳ chọn này, trình phân đoạn sẽ điều chỉnh tỷ lệ mặt nạ thô để khớp với kích thước hình ảnh đầu vào. Hãy cân nhắc sử dụng tuỳ chọn này nếu bạn muốn áp dụng logic điều chỉnh tỷ lệ tuỳ chỉnh hoặc không cần điều chỉnh tỷ lệ cho trường hợp sử dụng của bạn.

Chỉ định các tuỳ chọn trình phân đoạn:

Swift

let options = SelfieSegmenterOptions()
options.segmenterMode = .singleImage
options.shouldEnableRawSizeMask = true

Objective-C

MLKSelfieSegmenterOptions *options = [[MLKSelfieSegmenterOptions alloc] init];
options.segmenterMode = MLKSegmenterModeSingleImage;
options.shouldEnableRawSizeMask = YES;

Cuối cùng, hãy lấy một thực thể của Segmenter. Truyền các tuỳ chọn mà bạn đã chỉ định:

Swift

let segmenter = Segmenter.segmenter(options: options)

Objective-C

MLKSegmenter *segmenter = [MLKSegmenter segmenterWithOptions:options];

2. Chuẩn bị hình ảnh đầu vào

Để phân đoạn ảnh tự chụp, hãy làm như sau cho từng hình ảnh hoặc khung hình của video. Nếu bạn đã bật chế độ truyền trực tuyến, bạn phải tạo các đối tượng VisionImage từ CMSampleBuffer.

Tạo đối tượng VisionImage bằng UIImage hoặc CMSampleBuffer.

Nếu bạn sử dụng UIImage, hãy làm theo các bước sau:

Tạo đối tượng VisionImage bằng UIImage. Hãy nhớ chỉ định .orientation chính xác.

Swift

let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

Nếu bạn sử dụng CMSampleBuffer, hãy làm theo các bước sau:

Chỉ định hướng của dữ liệu hình ảnh có trong the CMSampleBuffer.

Cách lấy hướng hình ảnh:

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

Tạo đối tượng VisionImage bằng đối tượng CMSampleBuffer và hướng:

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. Xử lý hình ảnh

Truyền đối tượng VisionImage đến một trong các phương thức xử lý hình ảnh của Segmenter. Bạn có thể sử dụng phương thức process(image:) không đồng bộ hoặc phương thức results(in:) đồng bộ.

Cách phân đoạn ảnh tự chụp một cách đồng bộ:

Swift

var mask: [SegmentationMask]
do {
  mask = try segmenter.results(in: image)
} catch let error {
  print("Failed to perform segmentation with error: \(error.localizedDescription).")
  return
}

// Success. Get a segmentation mask here.

Objective-C

NSError *error;
MLKSegmentationMask *mask =
    [segmenter resultsInImage:image error:&error];
if (error != nil) {
  // Error.
  return;
}

// Success. Get a segmentation mask here.

Cách phân đoạn ảnh tự chụp một cách không đồng bộ:

Swift

segmenter.process(image) { mask, error in
  guard error == nil else {
    // Error.
    return
  }
  // Success. Get a segmentation mask here.

Objective-C

[segmenter processImage:image
             completion:^(MLKSegmentationMask * _Nullable mask,
                          NSError * _Nullable error) {
               if (error != nil) {
                 // Error.
                 return;
               }
               // Success. Get a segmentation mask here.
             }];

4. Lấy mặt nạ phân đoạn

Bạn có thể nhận kết quả phân đoạn như sau:

Swift

let maskWidth = CVPixelBufferGetWidth(mask.buffer)
let maskHeight = CVPixelBufferGetHeight(mask.buffer)

CVPixelBufferLockBaseAddress(mask.buffer, CVPixelBufferLockFlags.readOnly)
let maskBytesPerRow = CVPixelBufferGetBytesPerRow(mask.buffer)
var maskAddress =
    CVPixelBufferGetBaseAddress(mask.buffer)!.bindMemory(
        to: Float32.self, capacity: maskBytesPerRow * maskHeight)

for _ in 0...(maskHeight - 1) {
  for col in 0...(maskWidth - 1) {
    // Gets the confidence of the pixel in the mask being in the foreground.
    let foregroundConfidence: Float32 = maskAddress[col]
  }
  maskAddress += maskBytesPerRow / MemoryLayout<Float32>.size
}

Objective-C

size_t width = CVPixelBufferGetWidth(mask.buffer);
size_t height = CVPixelBufferGetHeight(mask.buffer);

CVPixelBufferLockBaseAddress(mask.buffer, kCVPixelBufferLock_ReadOnly);
size_t maskBytesPerRow = CVPixelBufferGetBytesPerRow(mask.buffer);
float *maskAddress = (float *)CVPixelBufferGetBaseAddress(mask.buffer);

for (int row = 0; row < height; ++row) {
  for (int col = 0; col < width; ++col) {
    // Gets the confidence of the pixel in the mask being in the foreground.
    float foregroundConfidence = maskAddress[col];
  }
  maskAddress += maskBytesPerRow / sizeof(float);
}

Để xem ví dụ đầy đủ về cách sử dụng kết quả phân đoạn, vui lòng xem mẫu bắt đầu nhanh của Bộ công cụ học máy.

Mẹo cải thiện hiệu suất

Chất lượng kết quả phụ thuộc vào chất lượng hình ảnh đầu vào:

Để Bộ công cụ học máy nhận được kết quả phân đoạn chính xác, hình ảnh phải có kích thước tối thiểu là 256x256 pixel.
Nếu bạn phân đoạn ảnh tự chụp trong một ứng dụng theo thời gian thực, bạn cũng có thể cân nhắc kích thước tổng thể của hình ảnh đầu vào. Bạn có thể xử lý hình ảnh nhỏ hơn nhanh hơn. Vì vậy, để giảm độ trễ, hãy chụp ảnh ở độ phân giải thấp hơn, nhưng hãy lưu ý các yêu cầu về độ phân giải ở trên và đảm bảo đối tượng chiếm càng nhiều hình ảnh càng tốt.
Tiêu điểm hình ảnh kém cũng có thể ảnh hưởng đến độ chính xác. Nếu bạn không nhận được kết quả chấp nhận được, hãy yêu cầu người dùng chụp lại hình ảnh.

Nếu bạn muốn sử dụng tính năng phân đoạn trong một ứng dụng theo thời gian thực, hãy làm theo các nguyên tắc sau để đạt được tốc độ khung hình tốt nhất:

Sử dụng chế độ trình phân đoạn stream.
Cân nhắc chụp ảnh ở độ phân giải thấp hơn. Tuy nhiên, hãy lưu ý các yêu cầu về kích thước hình ảnh của API này.
Để xử lý các khung hình video, hãy sử dụng API đồng bộ results(in:) của trình phân đoạn. Gọi phương thức này từ hàm captureOutput(_, didOutput:from:) của AVCaptureVideoDataOutputSampleBufferDelegate để đồng bộ nhận kết quả từ khung hình video đã cho. Luôn giữ AVCaptureVideoDataOutput's alwaysDiscardsLateVideoFrames ở trạng thái true để điều tiết các lệnh gọi đến trình phân đoạn. Nếu có một khung video mới trong khi trình phân đoạn đang chạy, thì khung đó sẽ bị loại bỏ.
Nếu bạn dùng kết quả của trình phân đoạn để phủ đồ hoạ lên hình ảnh đầu vào, trước tiên, hãy lấy kết quả từ Bộ công cụ học máy, sau đó kết xuất hình ảnh và lớp phủ trong một bước. Bằng cách đó, bạn chỉ kết xuất vào bề mặt hiển thị một lần cho mỗi khung hình đầu vào đã xử lý. Hãy xem các lớp previewOverlayView và CameraViewController trong mẫu bắt đầu nhanh của Bộ công cụ học máy để biết ví dụ.

Phân đoạn ảnh tự chụp chân dung bằng Bộ công cụ học máy trên iOS Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.

Dùng thử

Trước khi bắt đầu

1. Tạo một thực thể của Trình phân đoạn

Lựa chọn trình phân đoạn

Chế độ trình phân đoạn

Bật mặt nạ kích thước thô

Swift

Objective-C

Swift

Objective-C

2. Chuẩn bị hình ảnh đầu vào

Swift

Objective-C

Swift

Objective-C

Swift

Objective-C

3. Xử lý hình ảnh

Swift

Objective-C

Swift

Objective-C

4. Lấy mặt nạ phân đoạn

Swift

Objective-C

Mẹo cải thiện hiệu suất

Phân đoạn ảnh tự chụp chân dung bằng Bộ công cụ học máy trên iOS