Bạn có thể sử dụng Bộ công cụ học máy để nhận dạng văn bản trong hình ảnh hoặc video, chẳng hạn như văn bản của biển báo đường phố. Các đặc điểm chính của tính năng này là:
API Nhận dạng văn bản phiên bản 2 | |
---|---|
Nội dung mô tả | Nhận dạng văn bản trong hình ảnh hoặc video, hỗ trợ chữ viết Latinh, tiếng Trung, Devanagari, tiếng Nhật và tiếng Hàn, cũng như hỗ trợ nhiều ngôn ngữ. |
Tên SDK | GoogleMLKit/TextRecognition |
Triển khai | Các thành phần được liên kết tĩnh với ứng dụng của bạn tại thời điểm xây dựng |
Ảnh hưởng của kích thước ứng dụng | Khoảng 38 MB cho mỗi SDK tập lệnh |
Hiệu suất | Thời gian thực trên hầu hết các thiết bị cho SDK tập lệnh Latinh, chậm hơn đối với các thiết bị khác. |
Dùng thử
- Hãy khám phá ứng dụng mẫu để xem ví dụ về cách sử dụng API này.
- Hãy tự mình kiểm thử mã trong lớp học lập trình.
Trước khi bắt đầu
- Đưa các nhóm Bộ công cụ học máy sau đây vào Podfile:
# To recognize Latin script pod 'GoogleMLKit/TextRecognition', '3.2.0' # To recognize Chinese script pod 'GoogleMLKit/TextRecognitionChinese', '3.2.0' # To recognize Devanagari script pod 'GoogleMLKit/TextRecognitionDevanagari', '3.2.0' # To recognize Japanese script pod 'GoogleMLKit/TextRecognitionJapanese', '3.2.0' # To recognize Korean script pod 'GoogleMLKit/TextRecognitionKorean', '3.2.0'
- Sau khi bạn cài đặt hoặc cập nhật các Nhóm của dự án, hãy mở dự án Xcode của bạn bằng
.xcworkspace
. Bộ công cụ học máy được hỗ trợ trong Xcode phiên bản 12.4 trở lên.
1. Tạo một thực thể của TextRecognizer
Tạo một thực thể của TextRecognizer
bằng cách gọi +textRecognizer(options:)
, truyền các tuỳ chọn liên quan đến SDK mà bạn đã khai báo là phần phụ thuộc ở trên:
Swift
// When using Latin script recognition SDK let latinOptions = TextRecognizerOptions() let latinTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Chinese script recognition SDK let chineseOptions = ChineseTextRecognizerOptions() let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Devanagari script recognition SDK let devanagariOptions = DevanagariTextRecognizerOptions() let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Japanese script recognition SDK let japaneseOptions = JapaneseTextRecognizerOptions() let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Korean script recognition SDK let koreanOptions = KoreanTextRecognizerOptions() let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)
Objective-C
// When using Latin script recognition SDK MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init]; MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Chinese script recognition SDK MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init]; MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Devanagari script recognition SDK MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init]; MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Japanese script recognition SDK MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init]; MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Korean script recognition SDK MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init]; MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];
2. Chuẩn bị hình ảnh đầu vào
Truyền hình ảnh dưới dạngUIImage
hoặc CMSampleBufferRef
vào phương thức process(_:completion:)
của TextRecognizer
:
Tạo một đối tượng VisionImage
bằng UIImage
hoặc CMSampleBuffer
.
Nếu bạn sử dụng UIImage
, hãy làm theo các bước sau:
- Tạo một đối tượng
VisionImage
bằngUIImage
. Hãy nhớ chỉ định đúng.orientation
.Swift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
Nếu bạn sử dụng CMSampleBuffer
, hãy làm theo các bước sau:
-
Chỉ định hướng của dữ liệu hình ảnh có trong
CMSampleBuffer
.Cách lấy hướng của hình ảnh:
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
- Tạo một đối tượng
VisionImage
bằng cách sử dụng đối tượng và hướngCMSampleBuffer
:Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. Xử lý hình ảnh
Sau đó, truyền hình ảnh này vào phương thức process(_:completion:)
:
Swift
textRecognizer.process(visionImage) { result, error in guard error == nil, let result = result else { // Error handling return } // Recognized text }
Objective-C
[textRecognizer processImage:image completion:^(MLKText *_Nullable result, NSError *_Nullable error) { if (error != nil || result == nil) { // Error handling return; } // Recognized text }];
4. Trích xuất văn bản từ các khối văn bản được nhận dạng
Nếu thành công thì thao tác nhận dạng văn bản sẽ trả về một đối tượng Text
. Đối tượng Text
chứa toàn bộ văn bản được nhận dạng trong hình ảnh và không có hoặc có nhiều đối tượng TextBlock
.
Mỗi TextBlock
đại diện cho một khối văn bản hình chữ nhật, trong đó không chứa hoặc chứa nhiều đối tượng TextLine
. Mỗi đối tượng TextLine
chứa từ 0 hoặc nhiều đối tượng TextElement
, đại diện cho các từ và thực thể giống từ, chẳng hạn như ngày và số.
Đối với mỗi đối tượng TextBlock
, TextLine
và TextElement
, bạn có thể nhận dạng văn bản trong khu vực và toạ độ giới hạn của khu vực đó.
Ví dụ:
Swift
let resultText = result.text for block in result.blocks { let blockText = block.text let blockLanguages = block.recognizedLanguages let blockCornerPoints = block.cornerPoints let blockFrame = block.frame for line in block.lines { let lineText = line.text let lineLanguages = line.recognizedLanguages let lineCornerPoints = line.cornerPoints let lineFrame = line.frame for element in line.elements { let elementText = element.text let elementCornerPoints = element.cornerPoints let elementFrame = element.frame } } }
Objective-C
NSString *resultText = result.text; for (MLKTextBlock *block in result.blocks) { NSString *blockText = block.text; NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages; NSArray<NSValue *> *blockCornerPoints = block.cornerPoints; CGRect blockFrame = block.frame; for (MLKTextLine *line in block.lines) { NSString *lineText = line.text; NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages; NSArray<NSValue *> *lineCornerPoints = line.cornerPoints; CGRect lineFrame = line.frame; for (MLKTextElement *element in line.elements) { NSString *elementText = element.text; NSArray<NSValue *> *elementCornerPoints = element.cornerPoints; CGRect elementFrame = element.frame; } } }
Nguyên tắc đối với hình ảnh nhập vào
-
Để Bộ công cụ học máy nhận dạng chính xác văn bản, hình ảnh đầu vào phải chứa văn bản được biểu thị bằng đủ dữ liệu pixel. Tốt nhất là mỗi ký tự nên có kích thước tối thiểu là 16x16 pixel. Nhìn chung, các ký tự lớn hơn 24 x 24 pixel sẽ không có lợi về độ chính xác.
Ví dụ: hình ảnh 640x480 có thể hoạt động tốt để quét danh thiếp chiếm toàn bộ chiều rộng của hình ảnh. Để quét tài liệu in trên giấy có kích thước dạng chữ cái, bạn có thể phải sử dụng hình ảnh 720x1280 pixel.
-
Tiêu điểm hình ảnh kém có thể ảnh hưởng đến độ chính xác của tính năng nhận dạng văn bản. Nếu bạn không nhận được kết quả có thể chấp nhận được, hãy thử yêu cầu người dùng chụp lại hình ảnh.
-
Nếu nhận dạng văn bản trong một ứng dụng theo thời gian thực, bạn nên xem xét kích thước tổng thể của hình ảnh đầu vào. Hình ảnh nhỏ hơn có thể được xử lý nhanh hơn. Để giảm độ trễ, hãy đảm bảo văn bản chiếm nhiều hình ảnh nhất có thể và chụp ảnh ở độ phân giải thấp hơn (lưu ý các yêu cầu về độ chính xác nêu trên). Để biết thêm thông tin, hãy xem bài viết Mẹo cải thiện hiệu suất.
Mẹo cải thiện hiệu suất
- Để xử lý khung video, hãy sử dụng API đồng bộ
results(in:)
của trình phát hiện. Gọi phương thức này từ hàmcaptureOutput(_, didOutput:from:)
củaAVCaptureVideoDataOutputSampleBufferDelegate
để nhận kết quả đồng bộ từ khung hình video nhất định. GiữalwaysDiscardsLateVideoFrames
củaAVCaptureVideoDataOutput
ở dạngtrue
để điều tiết các lệnh gọi đến trình phát hiện. Nếu có một khung hình video mới trong khi trình phát hiện đang chạy, thì khung hình đó sẽ bị bỏ qua. - Nếu bạn dùng đầu ra của trình phát hiện để phủ đồ hoạ lên hình ảnh đầu vào, trước tiên, hãy lấy kết quả từ Bộ công cụ học máy rồi kết xuất hình ảnh và lớp phủ chỉ trong một bước. Bằng cách này, bạn chỉ kết xuất trên giao diện màn hình một lần cho mỗi khung đầu vào đã được xử lý. Hãy xem updatePreviewOverlayViewWithLastFrame trong mẫu bắt đầu nhanh của Bộ công cụ học máy để biết ví dụ.
- Hãy cân nhắc chụp ảnh ở độ phân giải thấp hơn. Tuy nhiên, bạn cũng nên lưu ý các yêu cầu về kích thước hình ảnh của API này.
- Để tránh giảm hiệu suất có thể xảy ra, đừng chạy đồng thời nhiều thực thể
TextRecognizer
có các tuỳ chọn tập lệnh khác nhau.