Trang này được dịch bởi Cloud Translation API.

Nhận dạng văn bản trong hình ảnh bằng Bộ công cụ máy học trên iOS

Bạn có thể sử dụng Bộ công cụ máy học để nhận dạng văn bản trong hình ảnh hoặc video, chẳng hạn như văn bản của biển báo đường phố. Đặc điểm chính của tính năng này là:

API Nhận dạng văn bản
Mô tả	Nhận dạng văn bản chữ viết Latinh trong hình ảnh hoặc video.
Tên SDK	`GoogleMLKit/TextRecognition (version 2.2.0)`
Triển khai	Tài sản được liên kết tĩnh với ứng dụng của bạn tại thời điểm xây dựng.
Tác động đến kích thước ứng dụng	Khoảng 20 MB
Hiệu suất	Thời gian thực trên hầu hết các thiết bị.

Chạy thử ứng dụng

Hãy dùng ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
Hãy thử tự thực hiện mã qua lớp học lập trình.

Trước khi bắt đầu

Đưa các nhóm Bộ công cụ máy học sau vào Podfile của bạn:
```
pod 'GoogleMLKit/TextRecognition','2.2.0'
```
Sau khi bạn cài đặt hoặc cập nhật Nhóm của dự án, hãy mở dự án Xcode của bạn bằng .xcworkspace của dự án đó. Bộ công cụ máy học được hỗ trợ trong Xcode phiên bản 12.4 trở lên.

1. Tạo một thực thể của `TextRecognizer`

Tạo một bản sao của TextRecognizer bằng cách gọi +textRecognizer:

Swift

let textRecognizer = TextRecognizer.textRecognizer()

Objective-C

MLKTextRecognizer *textRecognizer = [MLKTextRecognizer textRecognizer];

2. Chuẩn bị hình ảnh nhập vào

Truyền hình ảnh dưới dạng UIImage hoặc CMSampleBufferRef đến phương thức process(_:completion:) của TextRecognizer:

Tạo đối tượng VisionImage bằng UIImage hoặc CMSampleBuffer.

Nếu bạn sử dụng UIImage, hãy làm theo các bước sau:

Tạo đối tượng VisionImage bằng UIImage. Hãy nhớ chỉ định đúng .orientation.

Swift

let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

Nếu bạn sử dụng CMSampleBuffer, hãy làm theo các bước sau:

Hãy chỉ định hướng của dữ liệu hình ảnh có trong CMSampleBuffer.

Cách nhận hướng của hình ảnh:

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

Tạo đối tượng VisionImage bằng cách sử dụng đối tượng và hướng CMSampleBuffer:

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

3. Xử lý hình ảnh

Sau đó, truyền hình ảnh đến phương thức process(_:completion:):

Swift

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // Error handling
    return
  }
  // Recognized text
}

Objective-C

[textRecognizer processImage:image
                  completion:^(MLKText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // Error handling
    return;
  }
  // Recognized text
}];

4. Trích xuất văn bản từ các khối văn bản được nhận dạng

Nếu thành công, thao tác nhận dạng văn bản sẽ trả về đối tượng Text. Đối tượng Text chứa toàn bộ văn bản được nhận dạng trong hình ảnh và không có hoặc có nhiều đối tượng TextBlock.

Mỗi TextBlock đại diện cho một khối văn bản hình chữ nhật, chứa 0 hoặc nhiều đối tượng TextLine. Mỗi đối tượng TextLine chứa 0 hoặc nhiều đối tượng TextElement, đại diện cho các từ và các thực thể giống từ, chẳng hạn như ngày và số.

Đối với mỗi đối tượng TextBlock, TextLine và TextElement, bạn có thể nhận dạng được văn bản trong vùng và toạ độ giới hạn của khu vực.

Ví dụ:

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (MLKTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (MLKTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (MLKTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

Nguyên tắc về hình ảnh đầu vào

Để Bộ công cụ máy học nhận ra chính xác văn bản, hình ảnh đầu vào phải chứa văn bản được thể hiện bằng đủ dữ liệu pixel. Mỗi ký tự nên có kích thước tối thiểu là 16 x 16 pixel. Thông thường, việc cung cấp ký tự lớn hơn 24x24 pixel không mang lại lợi ích gì.

Ví dụ: hình ảnh 640x480 có thể hoạt động hiệu quả khi quét danh thiếp chiếm toàn bộ chiều rộng của hình ảnh. Để quét tài liệu in trên giấy có kích thước chữ cái, bạn có thể phải sử dụng hình ảnh có kích thước 720x1280 pixel.
Lấy nét hình ảnh kém có thể ảnh hưởng đến độ chính xác trong việc nhận dạng văn bản. Nếu bạn không nhận được kết quả chấp nhận được, hãy thử yêu cầu người dùng chụp lại hình ảnh.
Nếu nhận dạng văn bản trong ứng dụng theo thời gian thực, bạn nên xem xét kích thước tổng thể của hình ảnh đầu vào. Những hình ảnh nhỏ hơn có thể được xử lý nhanh hơn. Để giảm độ trễ, hãy đảm bảo văn bản chiếm nhiều hình ảnh nhất có thể và chụp ảnh ở độ phân giải thấp hơn (lưu ý những yêu cầu về độ chính xác nêu trên). Để biết thêm thông tin, vui lòng xem bài viết Mẹo cải thiện hiệu suất.

Mẹo cải thiện hiệu suất

Để xử lý các khung hình video, hãy sử dụng API đồng bộ results(in:) của trình phát hiện. Gọi phương thức này từ hàm captureOutput(_, didOutput:from:) của AVCaptureVideoDataOutputSampleBufferDelegate để nhận kết quả đồng bộ từ khung video đã cho. Giữ alwaysDiscardsLateVideoFrames của AVCaptureVideoDataOutput dưới dạng true để điều tiết cuộc gọi đến trình phát hiện. Nếu một khung hình video mới xuất hiện trong khi trình phát hiện đang chạy, thì trình phát hiện sẽ bị loại bỏ.
Nếu bạn sử dụng đầu ra của trình phát hiện để phủ hình ảnh trên hình ảnh đầu vào, trước tiên hãy nhận kết quả từ Bộ công cụ máy học, sau đó hiển thị hình ảnh và lớp phủ trong một bước duy nhất. Bằng cách đó, bạn sẽ chỉ kết xuất được trên bề mặt hiển thị một lần cho mỗi khung đầu vào đã xử lý. Hãy xem updatePreviewOverlayViewWithLastFrame trong ví dụ về thông tin bắt đầu nhanh cho Bộ công cụ máy học.
Hãy cân nhắc chụp ảnh ở độ phân giải thấp hơn. Tuy nhiên, hãy lưu ý các yêu cầu về kích thước hình ảnh của API này.

Nhận dạng văn bản trong hình ảnh bằng Bộ công cụ máy học trên iOS

Chạy thử ứng dụng

Trước khi bắt đầu

1. Tạo một thực thể của TextRecognizer

Swift

Objective-C

2. Chuẩn bị hình ảnh nhập vào

Swift

Objective-C

Swift

Objective-C

Swift

Objective-C

3. Xử lý hình ảnh

Swift

Objective-C

4. Trích xuất văn bản từ các khối văn bản được nhận dạng

Swift

Objective-C

Nguyên tắc về hình ảnh đầu vào

Mẹo cải thiện hiệu suất

1. Tạo một thực thể của `TextRecognizer`