คุณใช้ ML Kit เพื่อจดจําข้อความในรูปภาพหรือวิดีโอได้ เช่น ข้อความของป้ายจราจร คุณสมบัติหลักของคุณลักษณะนี้ ได้แก่
API การจดจําข้อความ v2 | |
---|---|
คำอธิบาย | ระบุข้อความในรูปภาพหรือวิดีโอ รองรับสคริปต์ภาษาละติน จีน เทวนาครี ญี่ปุ่น และเกาหลี รวมถึงภาษาต่างๆ |
ชื่อ SDK | GoogleMLKit/TextRecognition |
การใช้งาน | เนื้อหาจะลิงก์อยู่กับแอปของคุณอย่างคงที่เมื่อสร้าง |
ผลกระทบต่อขนาดแอป | ประมาณ 38 MB ต่อ SDK สคริปต์ |
ประสิทธิภาพ | เรียลไทม์ในอุปกรณ์ส่วนใหญ่สําหรับ SDK สคริปต์ละติน ซึ่งจะช้ากว่าสําหรับอุปกรณ์อื่นๆ |
ลองเลย
- ลองใช้แอปตัวอย่างเพื่อดูตัวอย่างการใช้งาน API นี้
- ลองทดสอบโค้ดด้วยตนเองโดยใช้ codelab
ข้อควรปฏิบัติก่อนที่จะเริ่มต้น
- รวมพ็อด ML Kit ต่อไปนี้ใน Podfile
# To recognize Latin script pod 'GoogleMLKit/TextRecognition', '3.2.0' # To recognize Chinese script pod 'GoogleMLKit/TextRecognitionChinese', '3.2.0' # To recognize Devanagari script pod 'GoogleMLKit/TextRecognitionDevanagari', '3.2.0' # To recognize Japanese script pod 'GoogleMLKit/TextRecognitionJapanese', '3.2.0' # To recognize Korean script pod 'GoogleMLKit/TextRecognitionKorean', '3.2.0'
- หลังจากติดตั้งหรืออัปเดตพ็อดของโปรเจ็กต์ ให้เปิดโปรเจ็กต์ Xcode โดยใช้
.xcworkspace
ML Kit ใช้ได้ใน Xcode เวอร์ชัน 12.4 ขึ้นไป
1. สร้างอินสแตนซ์ของ TextRecognizer
สร้างอินสแตนซ์ TextRecognizer
โดยการเรียกใช้ +textRecognizer(options:)
โดยส่งต่อตัวเลือกที่เกี่ยวข้องกับ SDK ที่คุณประกาศไว้ว่าใช้ทรัพยากรข้างต้น
Swift
// When using Latin script recognition SDK let latinOptions = TextRecognizerOptions() let latinTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Chinese script recognition SDK let chineseOptions = ChineseTextRecognizerOptions() let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Devanagari script recognition SDK let devanagariOptions = DevanagariTextRecognizerOptions() let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Japanese script recognition SDK let japaneseOptions = JapaneseTextRecognizerOptions() let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options) // When using Korean script recognition SDK let koreanOptions = KoreanTextRecognizerOptions() let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)
Objective-C
// When using Latin script recognition SDK MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init]; MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Chinese script recognition SDK MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init]; MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Devanagari script recognition SDK MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init]; MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Japanese script recognition SDK MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init]; MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options]; // When using Korean script recognition SDK MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init]; MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];
2. เตรียมรูปภาพอินพุต
ส่งรูปภาพเป็นUIImage
หรือ CMSampleBufferRef
ไปยังเมธอด process(_:completion:)
ของ TextRecognizer
สร้างออบเจ็กต์ VisionImage
โดยใช้ UIImage
หรือ CMSampleBuffer
หากคุณใช้ UIImage
ให้ทําตามขั้นตอนต่อไปนี้
- สร้างออบเจ็กต์
VisionImage
ที่มีUIImage
ตรวจสอบว่าได้ระบุ.orientation
ที่ถูกต้องSwift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
หากคุณใช้ CMSampleBuffer
ให้ทําตามขั้นตอนต่อไปนี้
-
กําหนดการวางแนวของข้อมูลรูปภาพที่อยู่ใน
CMSampleBuffer
วิธีดูการวางแนวรูปภาพ
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
- สร้างออบเจ็กต์
VisionImage
โดยใช้ออบเจ็กต์และการวางแนวCMSampleBuffer
ดังนี้Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. ประมวลผลรูปภาพ
จากนั้นส่งรูปภาพไปยังเมธอด process(_:completion:)
ดังนี้
Swift
textRecognizer.process(visionImage) { result, error in guard error == nil, let result = result else { // Error handling return } // Recognized text }
Objective-C
[textRecognizer processImage:image completion:^(MLKText *_Nullable result, NSError *_Nullable error) { if (error != nil || result == nil) { // Error handling return; } // Recognized text }];
4. แยกข้อความออกจากบล็อกข้อความที่รู้จัก
หากการจดจําข้อความสําเร็จ ระบบจะแสดงออบเจ็กต์ Text
ออบเจ็กต์ Text
มีข้อความแบบเต็มที่จดจําในอิมเมจและออบเจ็กต์ TextBlock
0 รายการหรือมากกว่า
TextBlock
แต่ละรายการจะแสดงบล็อกข้อความรูปสี่เหลี่ยมผืนผ้า ซึ่งมีออบเจ็กต์ TextLine
0 รายการหรือมากกว่า ออบเจ็กต์ TextLine
แต่ละรายการจะมีออบเจ็กต์ TextElement
0 รายการขึ้นไป ซึ่งจะแสดงคําและเอนทิตีที่คล้ายกับคํา เช่น วันที่และตัวเลข
สําหรับออบเจ็กต์ TextBlock
, TextLine
และ TextElement
แต่ละรายการ คุณรับทราบข้อความที่รับรู้ในภูมิภาคและพิกัดขอบเขตของภูมิภาคได้
เช่น
Swift
let resultText = result.text for block in result.blocks { let blockText = block.text let blockLanguages = block.recognizedLanguages let blockCornerPoints = block.cornerPoints let blockFrame = block.frame for line in block.lines { let lineText = line.text let lineLanguages = line.recognizedLanguages let lineCornerPoints = line.cornerPoints let lineFrame = line.frame for element in line.elements { let elementText = element.text let elementCornerPoints = element.cornerPoints let elementFrame = element.frame } } }
Objective-C
NSString *resultText = result.text; for (MLKTextBlock *block in result.blocks) { NSString *blockText = block.text; NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages; NSArray<NSValue *> *blockCornerPoints = block.cornerPoints; CGRect blockFrame = block.frame; for (MLKTextLine *line in block.lines) { NSString *lineText = line.text; NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages; NSArray<NSValue *> *lineCornerPoints = line.cornerPoints; CGRect lineFrame = line.frame; for (MLKTextElement *element in line.elements) { NSString *elementText = element.text; NSArray<NSValue *> *elementCornerPoints = element.cornerPoints; CGRect elementFrame = element.frame; } } }
ป้อนหลักเกณฑ์ของรูปภาพ
-
ML Kit ต้องมีข้อความที่แสดงด้วยข้อมูลพิกเซลที่เพียงพอ เพื่อให้ ML Kit จดจําข้อความได้อย่างถูกต้อง โดยหลักการแล้ว อักขระแต่ละอักขระควรมีขนาดอย่างน้อย 16x16 พิกเซล โดยทั่วไปประโยชน์ที่อักขระจะมีขนาดใหญ่กว่า 24x24 พิกเซลไม่ได้คือข้อดี
เช่น รูปภาพขนาด 640x480 อาจเหมาะสําหรับใช้สแกนนามบัตรที่ใช้ความกว้างทั้งหมดของรูปภาพ อาจต้องมีรูปภาพขนาด 720x1280 พิกเซลจึงจะสแกนเอกสารที่พิมพ์บนกระดาษขนาดตัวอักษรได้
-
การโฟกัสรูปภาพที่ไม่ดีอาจส่งผลต่อความแม่นยําในการจดจําข้อความ หากไม่ได้รับผลการค้นหาที่ยอมรับได้ ให้ลองขอให้ผู้ใช้จับภาพอีกครั้ง
-
หากคุณจําข้อความในแอปพลิเคชันแบบเรียลไทม์ได้ ก็ควรพิจารณาขนาดโดยรวมของรูปภาพที่ป้อนด้วย รูปภาพขนาดเล็กกว่าจะได้รับการประมวลผลเร็วขึ้น หากต้องการลดเวลาในการตอบสนอง ให้ตรวจสอบว่าข้อความใช้รูปภาพมากที่สุดเท่าที่จะเป็นไปได้ และจับภาพที่ความละเอียดต่ําลง (คํานึงถึงข้อกําหนดความถูกต้องที่กล่าวถึงข้างต้น) ดูข้อมูลเพิ่มเติมได้ในเคล็ดลับในการปรับปรุงประสิทธิภาพ
เคล็ดลับในการปรับปรุงประสิทธิภาพ
- สําหรับการประมวลผลเฟรมวิดีโอ ให้ใช้
results(in:)
ซิงโครนัสของตัวตรวจจับ เรียกใช้เมธอดนี้จากฟังก์ชันcaptureOutput(_, didOutput:from:)
ของAVCaptureVideoDataOutputSampleBufferDelegate
เพื่อรับผลลัพธ์แบบซิงโครนัสจากเฟรมวิดีโอที่ระบุ เก็บalwaysDiscardsLateVideoFrames
ของAVCaptureVideoDataOutput
ไว้เป็นtrue
เพื่อควบคุมการโทรไปยังตัวตรวจจับ หาก เฟรมวิดีโอใหม่พร้อมใช้งาน ตัวตรวจจับจะทํางานไม่ได้ - หากคุณใช้เอาต์พุตของตัวตรวจจับเพื่อวางซ้อนกราฟิกบนรูปภาพอินพุต ขั้นแรกให้รับผลลัพธ์จาก ML Kit แล้วแสดงผลรูปภาพและซ้อนทับในขั้นตอนเดียว เมื่อทําเช่นนี้ คุณจะได้แสดงผลไปยังแพลตฟอร์มการแสดงผลเพียง 1 ครั้งสําหรับแต่ละเฟรมอินพุตที่ประมวลผลแล้ว ดูตัวอย่าง updatePreviewOverlayViewWithLastFrame ในตัวอย่างการเริ่มต้นอย่างรวดเร็วของ ML Kit
- พิจารณาจับภาพที่ความละเอียดต่ําลง อย่างไรก็ตาม โปรดทราบว่า ข้อกําหนดด้านขนาดของรูปภาพของ API นี้
- อย่าเรียกใช้อินสแตนซ์
TextRecognizer
หลายรายการที่มีตัวเลือกสคริปต์หลายรายการพร้อมกันเพื่อไม่ให้ประสิทธิภาพลดลง