คุณสามารถใช้ ML Kit เพื่อจดจำข้อความในรูปภาพหรือวิดีโอ เช่น ข้อความในป้ายบอกทาง ลักษณะสำคัญของฟีเจอร์นี้มีดังนี้
| ฟีเจอร์ | แยกต่างหาก | รวมไว้แล้ว |
|---|---|---|
| ชื่อไลบรารี | com.google.android.gms:play-services-mlkit-text-recognition
com.google.android.gms:play-services-mlkit-text-recognition-chinese com.google.android.gms:play-services-mlkit-text-recognition-devanagari com.google.android.gms:play-services-mlkit-text-recognition-japanese com.google.android.gms:play-services-mlkit-text-recognition-korean |
com.google.mlkit:text-recognition
com.google.mlkit:text-recognition-chinese com.google.mlkit:text-recognition-devanagari com.google.mlkit:text-recognition-japanese com.google.mlkit:text-recognition-korean |
| การใช้งาน | ระบบจะดาวน์โหลดโมเดลแบบไดนามิกผ่านบริการ Google Play | ระบบจะลิงก์โมเดลกับแอปของคุณแบบคงที่ในระหว่างเวลาบิลด์ |
| ขนาดแอป | เพิ่มขนาดประมาณ 260 KB ต่อสถาปัตยกรรมสคริปต์ | เพิ่มขนาดประมาณ 4 MB ต่อสคริปต์ต่อสถาปัตยกรรม |
| เวลาเริ่มต้น | อาจต้องรอให้ดาวน์โหลดโมเดลก่อนใช้งานครั้งแรก | โมเดลพร้อมใช้งานทันที |
| ประสิทธิภาพ | ทำงานแบบเรียลไทม์ในอุปกรณ์ส่วนใหญ่สำหรับไลบรารีสคริปต์ละติน แต่จะช้ากว่าสำหรับไลบรารีอื่นๆ | ทำงานแบบเรียลไทม์ในอุปกรณ์ส่วนใหญ่สำหรับไลบรารีสคริปต์ละติน แต่จะช้ากว่าสำหรับไลบรารีอื่นๆ |
ลองเลย
- ลองใช้แอปตัวอย่างเพื่อ ดูตัวอย่างการใช้งาน API นี้
- ลองใช้โค้ดด้วยตัวคุณเองผ่าน Codelab
ก่อนเริ่มต้น
- ในไฟล์
build.gradleระดับโปรเจ็กต์ ให้ตรวจสอบว่าได้รวมที่เก็บ Maven ของ Google ไว้ในส่วนbuildscriptและallprojects เพิ่มทรัพยากร Dependency สำหรับไลบรารี ML Kit สำหรับ Android ลงในไฟล์ Gradle ระดับแอปของโมดูล ซึ่งโดยปกติจะเป็นไฟล์
app/build.gradleดังนี้สำหรับการรวมโมเดลกับแอป
dependencies { // To recognize Latin script implementation 'com.google.mlkit:text-recognition:16.0.1' // To recognize Chinese script implementation 'com.google.mlkit:text-recognition-chinese:16.0.1' // To recognize Devanagari script implementation 'com.google.mlkit:text-recognition-devanagari:16.0.1' // To recognize Japanese script implementation 'com.google.mlkit:text-recognition-japanese:16.0.1' // To recognize Korean script implementation 'com.google.mlkit:text-recognition-korean:16.0.1' }สำหรับการใช้โมเดลในบริการ Google Play
dependencies { // To recognize Latin script implementation 'com.google.android.gms:play-services-mlkit-text-recognition:19.0.1' // To recognize Chinese script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-chinese:16.0.1' // To recognize Devanagari script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-devanagari:16.0.1' // To recognize Japanese script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-japanese:16.0.1' // To recognize Korean script implementation 'com.google.android.gms:play-services-mlkit-text-recognition-korean:16.0.1' }หากเลือกใช้โมเดลในบริการ Google Play คุณสามารถ กำหนดค่าแอปให้ดาวน์โหลดโมเดลลงในอุปกรณ์โดยอัตโนมัติหลังจาก ติดตั้งแอปจาก Play Store โดยเพิ่มการประกาศต่อไปนี้ลงในไฟล์
AndroidManifest.xmlของแอป<application ...> ... <meta-data android:name="com.google.mlkit.vision.DEPENDENCIES" android:value="ocr" > <!-- To use multiple models: android:value="ocr,ocr_chinese,ocr_devanagari,ocr_japanese,ocr_korean,..." --> </application>นอกจากนี้ คุณยังตรวจสอบความพร้อมใช้งานของโมเดลและขอให้ดาวน์โหลด ผ่าน บริการ Google Play ModuleInstallClient API ได้ด้วย หากไม่เปิดใช้การดาวน์โหลดโมเดลในระหว่างการติดตั้งหรือขอให้ดาวน์โหลดอย่างชัดเจน ระบบจะดาวน์โหลดโมเดลเมื่อคุณเรียกใช้สแกนเนอร์เป็นครั้งแรก คำขอที่คุณส่งก่อนการดาวน์โหลดจะเสร็จสมบูรณ์จะไม่แสดงผลลัพธ์
1. สร้างอินสแตนซ์ของ TextRecognizer
สร้างอินสแตนซ์ของ TextRecognizer โดยส่งตัวเลือก
ที่เกี่ยวข้องกับไลบรารีที่คุณประกาศทรัพยากร Dependency ไว้ด้านบน
Kotlin
// When using Latin script library val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS) // When using Chinese script library val recognizer = TextRecognition.getClient(ChineseTextRecognizerOptions.Builder().build()) // When using Devanagari script library val recognizer = TextRecognition.getClient(DevanagariTextRecognizerOptions.Builder().build()) // When using Japanese script library val recognizer = TextRecognition.getClient(JapaneseTextRecognizerOptions.Builder().build()) // When using Korean script library val recognizer = TextRecognition.getClient(KoreanTextRecognizerOptions.Builder().build())
Java
// When using Latin script library TextRecognizer recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS); // When using Chinese script library TextRecognizer recognizer = TextRecognition.getClient(new ChineseTextRecognizerOptions.Builder().build()); // When using Devanagari script library TextRecognizer recognizer = TextRecognition.getClient(new DevanagariTextRecognizerOptions.Builder().build()); // When using Japanese script library TextRecognizer recognizer = TextRecognition.getClient(new JapaneseTextRecognizerOptions.Builder().build()); // When using Korean script library TextRecognizer recognizer = TextRecognition.getClient(new KoreanTextRecognizerOptions.Builder().build());
2. เตรียมรูปภาพอินพุต
หากต้องการจดจำข้อความในรูปภาพ ให้สร้างออบเจ็กต์ InputImage จาก
Bitmap, media.Image, ByteBuffer, อาร์เรย์ไบต์ หรือไฟล์ใน
อุปกรณ์ จากนั้นส่งออบเจ็กต์ InputImage ไปยังเมธอด processImage ของ
TextRecognizer
คุณสามารถสร้างInputImage
ออบเจ็กต์จากแหล่งที่มาต่างๆ ซึ่งอธิบายไว้ด้านล่าง
การใช้ media.Image
หากต้องการสร้างออบเจ็กต์ InputImage
จากออบเจ็กต์ media.Image เช่น เมื่อคุณถ่ายรูปจากกล้องของอุปกรณ์ ให้ส่งออบเจ็กต์ media.Image และการหมุนของรูปภาพไปยัง InputImage.fromMediaImage()
หากคุณใช้ไลบรารี
CameraX คลาส OnImageCapturedListener และ
ImageAnalysis.Analyzer จะคำนวณค่าการหมุน
ให้คุณ
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
หากคุณไม่ได้ใช้ไลบรารีกล้องที่ให้องศาการหมุนของรูปภาพ คุณ สามารถคำนวณองศาการหมุนจากองศาการหมุนของอุปกรณ์และการวางแนวของเซ็นเซอร์กล้องในอุปกรณ์ได้ดังนี้
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
จากนั้นส่งออบเจ็กต์ media.Image และค่าองศาการหมุนไปยัง InputImage.fromMediaImage()
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
การใช้ URI ของไฟล์
หากต้องการสร้างออบเจ็กต์ InputImage
จาก URI ของไฟล์ ให้ส่งบริบทของแอปและ URI ของไฟล์ไปยัง
InputImage.fromFilePath() วิธีนี้มีประโยชน์เมื่อคุณ
ใช้ Intent ACTION_GET_CONTENT เพื่อแจ้งให้ผู้ใช้เลือก
รูปภาพจากแอปแกลเลอรี
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
การใช้ ByteBuffer หรือ ByteArray
หากต้องการสร้างออบเจ็กต์ InputImage
จาก ByteBuffer หรือ ByteArray ให้คำนวณองศาการหมุนของรูปภาพ
ก่อนตามที่อธิบายไว้ก่อนหน้านี้สำหรับอินพุต media.Image
จากนั้นสร้างออบเจ็กต์ InputImage ด้วยบัฟเฟอร์หรืออาร์เรย์ รวมถึงความสูง ความกว้าง รูปแบบการเข้ารหัสสี และองศาการหมุนของรูปภาพ
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
การใช้ Bitmap
หากต้องการสร้างออบเจ็กต์ InputImage
จากออบเจ็กต์ Bitmap ให้ประกาศดังนี้
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
รูปภาพจะแสดงด้วยออบเจ็กต์ Bitmap พร้อมองศาการหมุน
3. ประมวลผลรูปภาพ
ส่งรูปภาพไปยังเมธอด process
Kotlin
val result = recognizer.process(image) .addOnSuccessListener { visionText -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
Task<Text> result = recognizer.process(image) .addOnSuccessListener(new OnSuccessListener<Text>() { @Override public void onSuccess(Text visionText) { // Task completed successfully // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
4. แยกข้อความจากบล็อกข้อความที่จดจำ
หากการดำเนินการจดจำข้อความสำเร็จ ระบบจะส่งออบเจ็กต์ Text ไปยัง
Listener ที่สำเร็จ ออบเจ็กต์ Text จะมีข้อความทั้งหมดที่จดจำใน
รูปภาพและออบเจ็กต์ TextBlock ตั้งแต่ 0 รายการขึ้นไป
TextBlock แต่ละรายการจะแสดงบล็อกข้อความสี่เหลี่ยมผืนผ้า
ซึ่งมีออบเจ็กต์ Line ตั้งแต่ 0 รายการขึ้นไป ออบเจ็กต์ Each
Line แต่ละรายการจะแสดงบรรทัดข้อความ ซึ่งมีออบเจ็กต์ zero
or more Element ตั้งแต่ 0 รายการขึ้นไป ออบเจ็กต์ Element
แต่ละรายการจะแสดงคำหรือเอนทิตีที่คล้ายคำ ซึ่งมีออบเจ็กต์
Symbol ตั้งแต่ 0 รายการขึ้นไป ออบเจ็กต์ Symbol
แต่ละรายการจะแสดงอักขระ ตัวเลข หรือเอนทิตีที่คล้ายคำ
สำหรับออบเจ็กต์ TextBlock, Line,
Element และ Symbol แต่ละรายการ คุณ
จะได้รับข้อความที่จดจำในภูมิภาค พิกัดขอบเขตของ
ภูมิภาค และแอตทริบิวต์อื่นๆ อีกมากมาย เช่น ข้อมูลการหมุน คะแนนความเชื่อมั่น
เป็นต้น
ตัวอย่าง
Kotlin
val resultText = result.text for (block in result.textBlocks) { val blockText = block.text val blockCornerPoints = block.cornerPoints val blockFrame = block.boundingBox for (line in block.lines) { val lineText = line.text val lineCornerPoints = line.cornerPoints val lineFrame = line.boundingBox for (element in line.elements) { val elementText = element.text val elementCornerPoints = element.cornerPoints val elementFrame = element.boundingBox } } }
Java
String resultText = result.getText(); for (Text.TextBlock block : result.getTextBlocks()) { String blockText = block.getText(); Point[] blockCornerPoints = block.getCornerPoints(); Rect blockFrame = block.getBoundingBox(); for (Text.Line line : block.getLines()) { String lineText = line.getText(); Point[] lineCornerPoints = line.getCornerPoints(); Rect lineFrame = line.getBoundingBox(); for (Text.Element element : line.getElements()) { String elementText = element.getText(); Point[] elementCornerPoints = element.getCornerPoints(); Rect elementFrame = element.getBoundingBox(); for (Text.Symbol symbol : element.getSymbols()) { String symbolText = symbol.getText(); Point[] symbolCornerPoints = symbol.getCornerPoints(); Rect symbolFrame = symbol.getBoundingBox(); } } } }
หลักเกณฑ์เกี่ยวกับรูปภาพอินพุต
-
ML Kit จะจดจำข้อความได้อย่างถูกต้อง รูปภาพอินพุตต้องมี ข้อความที่แสดงด้วยข้อมูลพิกเซลที่เพียงพอ โดยอักขระแต่ละตัวควรมีขนาดอย่างน้อย 16x16 พิกเซล โดยทั่วไปแล้ว การทำให้อักขระมีขนาดใหญ่กว่า 24x24 พิกเซลจะไม่ช่วยเพิ่มความถูกต้อง
ดังนั้น เช่น รูปภาพขนาด 640x480 อาจเหมาะสำหรับการสแกนนามบัตร ที่กินพื้นที่ความกว้างทั้งหมดของรูปภาพ หากต้องการสแกนเอกสารที่พิมพ์บน กระดาษขนาด Letter อาจต้องใช้รูปภาพขนาด 720x1280 พิกเซล
-
การโฟกัสรูปภาพไม่ดีอาจส่งผลต่อความถูกต้องของการจดจำข้อความ หากผลลัพธ์ไม่เป็นที่ยอมรับ ให้ลองขอให้ผู้ใช้ถ่ายรูปอีกครั้ง
-
หากคุณจดจำข้อความในแอปพลิเคชันแบบเรียลไทม์ คุณควร พิจารณาขนาดโดยรวมของรูปภาพอินพุต รูปภาพขนาดเล็ก จะประมวลผลได้เร็วกว่า หากต้องการลดเวลาในการตอบสนอง ให้ตรวจสอบว่าข้อความกินพื้นที่รูปภาพมากที่สุดเท่าที่จะเป็นไปได้ และถ่ายรูปภาพที่ความละเอียดต่ำลง (โดยคำนึงถึงข้อกำหนดด้านความถูกต้องที่กล่าวถึงข้างต้น) ดูข้อมูลเพิ่มเติมได้ที่ เคล็ดลับในการปรับปรุงประสิทธิภาพ
เคล็ดลับในการปรับปรุงประสิทธิภาพ
- หากคุณใช้
Cameraหรือcamera2API ให้ควบคุมการเรียกใช้เครื่องตรวจจับ หากเฟรมวิดีโอใหม่ พร้อมใช้งานขณะที่เครื่องตรวจจับกำลังทำงาน ให้ทิ้งเฟรมนั้น ดูคลาสVisionProcessorBaseในแอปตัวอย่างเริ่มต้นใช้งานฉบับย่อเพื่อดูตัวอย่าง - หากคุณใช้
CameraXAPI ให้ตรวจสอบว่าได้ตั้งค่ากลยุทธ์การควบคุมปริมาณข้อมูลย้อนกลับเป็นค่าเริ่มต้นImageAnalysis.STRATEGY_KEEP_ONLY_LATESTซึ่งจะรับประกันว่าระบบจะส่งรูปภาพเพียงรูปเดียวสำหรับการวิเคราะห์ในแต่ละครั้ง หากมีการสร้างรูปภาพเพิ่มเติมเมื่อตัววิเคราะห์ไม่ว่าง ระบบจะทิ้งรูปภาพเหล่านั้นโดยอัตโนมัติและไม่จัดคิวเพื่อส่ง เมื่อตัววิเคราะห์ปิดรูปภาพที่กำลังวิเคราะห์โดยการเรียกใช้ ImageProxy.close() ระบบจะส่งรูปภาพล่าสุดถัดไป - หากคุณใช้เอาต์พุตของเครื่องตรวจจับเพื่อวางซ้อนกราฟิกบน
รูปภาพอินพุต ให้รับผลลัพธ์จาก ML Kit ก่อน จากนั้นแสดงรูปภาพ
และวางซ้อนในขั้นตอนเดียว ซึ่งจะแสดงบนพื้นผิวการแสดงผล
เพียงครั้งเดียวสำหรับแต่ละเฟรมอินพุต ดูคลาส
CameraSourcePreviewและGraphicOverlayในแอปตัวอย่างเริ่มต้นใช้งานฉบับย่อเพื่อดูตัวอย่าง - หากคุณใช้ Camera2 API ให้ถ่ายรูปภาพใน
ImageFormat.YUV_420_888รูปแบบ หากคุณใช้ Camera API เวอร์ชันเก่า ให้ถ่ายรูปภาพในImageFormat.NV21รูปแบบ - ลองถ่ายรูปภาพที่ความละเอียดต่ำลง อย่างไรก็ตาม โปรดคำนึงถึง ข้อกำหนดด้านขนาดรูปภาพของ API นี้ด้วย