تمت ترجمة هذه الصفحة بواسطة Cloud Translation API‏.

التعرّف على النص في الصور باستخدام أدوات تعلّم الآلة على نظام التشغيل Android

يمكنك استخدام أدوات تعلّم الآلة للتعرّف على النص في الصور أو الفيديوهات، مثل نص لافتة الشارع. الخصائص الرئيسية لهذه الميزة هي:

إبراز	غير مجمعة	مُجمَّعة
اسم المكتبة	com.google.android.gms:play-services-mlkit-text-recognition com.google.android.gms:play-services-mlkit-text-recognition-chinese com.google.android.gms:play-services-mlkit-text-recognition-devanagari com.google.android.gms:play-services-mlkit-text-recognition-japanese com.google.android.gms:play-services-mlkit-text-recognition-korean	com.google.mlkit:text-recognition com.google.mlkit:text-recognition-chinese com.google.mlkit:text-recognition-devanagari com.google.mlkit:text-recognition-japanese com.google.mlkit:text-recognition-korean
التنفيذ	يتم تنزيل النموذج ديناميكيًا عبر "خدمات Google Play".	النموذج مرتبط بشكلٍ ثابت بتطبيقك في وقت الإصدار.
حجم التطبيق	زيادة في الحجم بمقدار 260 كيلوبايت تقريبًا لكل بنية نص برمجي	زيادة في الحجم بمقدار 4 ميغابايت تقريبًا لكل نص برمجي لكل بنية
وقت الإعداد	قد تضطر إلى الانتظار إلى أن يتم تنزيل النموذج قبل الاستخدام الأول.	أصبح الطراز متوفرًا على الفور.
عروض أداء	يتم توفير الوقت في الوقت الفعلي على معظم الأجهزة لمكتبة النصوص اللاتينية، ويكون ذلك أبطأ بالنسبة إلى الأجهزة الأخرى.	يتم توفير الوقت في الوقت الفعلي على معظم الأجهزة لمكتبة النصوص اللاتينية، ويكون ذلك أبطأ بالنسبة إلى الأجهزة الأخرى.

تجربة السمات والبيانات

جرِّب نموذج التطبيق للاطّلاع على مثال حول استخدام واجهة برمجة التطبيقات هذه.
جرِّب إدخال الرمز بنفسك باستخدام الدرس التطبيقي حول الترميز.

قبل البدء

تتطلّب واجهة برمجة التطبيقات هذه المستوى 21 من واجهة برمجة تطبيقات Android أو مستوى أعلى. تأكَّد من أنّ ملف إصدار التطبيق يستخدم قيمة minSdkVersion تساوي 21 أو أعلى.

في ملف build.gradle على مستوى المشروع، احرص على تضمين مستودع Maven من Google في كل من القسمَين buildscript وallprojects.

أضِف التبعيات لمكتبات ML Kit لنظام التشغيل Android إلى ملف الدرجة على مستوى التطبيق في الوحدة، والذي يكون عادةً app/build.gradle:

لدمج النموذج مع تطبيقك:

dependencies {
  // To recognize Latin script
  implementation 'com.google.mlkit:text-recognition:16.0.0'

  // To recognize Chinese script
  implementation 'com.google.mlkit:text-recognition-chinese:16.0.0'

  // To recognize Devanagari script
  implementation 'com.google.mlkit:text-recognition-devanagari:16.0.0'

  // To recognize Japanese script
  implementation 'com.google.mlkit:text-recognition-japanese:16.0.0'

  // To recognize Korean script
  implementation 'com.google.mlkit:text-recognition-korean:16.0.0'
}

لاستخدام النموذج في "خدمات Google Play":

dependencies {
  // To recognize Latin script
  implementation 'com.google.android.gms:play-services-mlkit-text-recognition:19.0.0'

  // To recognize Chinese script
  implementation 'com.google.android.gms:play-services-mlkit-text-recognition-chinese:16.0.0'

  // To recognize Devanagari script
  implementation 'com.google.android.gms:play-services-mlkit-text-recognition-devanagari:16.0.0'

  // To recognize Japanese script
  implementation 'com.google.android.gms:play-services-mlkit-text-recognition-japanese:16.0.0'

  // To recognize Korean script
  implementation 'com.google.android.gms:play-services-mlkit-text-recognition-korean:16.0.0'
}

إذا اخترت استخدام النموذج في "خدمات Google Play"، يمكنك ضبط تطبيقك على تنزيل النموذج تلقائيًا على الجهاز بعد تثبيت التطبيق من "متجر Play". لإجراء ذلك، أضِف البيان التالي إلى ملف AndroidManifest.xml في تطبيقك:
```
<application ...>
      ...
      <meta-data
          android:name="com.google.mlkit.vision.DEPENDENCIES"
          android:value="ocr" >
      
</application>
```
كما يمكنك بشكل صريح التحقق من توفر النموذج وطلب التنزيل من خلال ModuleInstallClient API في خدمات Google Play. في حال عدم تفعيل عمليات تنزيل نموذج وقت التثبيت أو طلب تنزيل صريح، يتم تنزيل النموذج في المرة الأولى التي يتم فيها تشغيل الماسح الضوئي. ولا تعرض الطلبات التي تجريها قبل اكتمال التنزيل أي نتائج.

1- إنشاء مثيل لـ `TextRecognizer`

أنشئ مثيلاً من TextRecognizer، مع تمرير الخيارات المتعلقة بالمكتبة التي أعلنت أنها تعتمد عليها أعلاه:

Kotlin

// When using Latin script library
val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS)

// When using Chinese script library
val recognizer = TextRecognition.getClient(ChineseTextRecognizerOptions.Builder().build())

// When using Devanagari script library
val recognizer = TextRecognition.getClient(DevanagariTextRecognizerOptions.Builder().build())

// When using Japanese script library
val recognizer = TextRecognition.getClient(JapaneseTextRecognizerOptions.Builder().build())

// When using Korean script library
val recognizer = TextRecognition.getClient(KoreanTextRecognizerOptions.Builder().build())

Java

// When using Latin script library
TextRecognizer recognizer =
  TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS);

// When using Chinese script library
TextRecognizer recognizer =
  TextRecognition.getClient(new ChineseTextRecognizerOptions.Builder().build());

// When using Devanagari script library
TextRecognizer recognizer =
  TextRecognition.getClient(new DevanagariTextRecognizerOptions.Builder().build());

// When using Japanese script library
TextRecognizer recognizer =
  TextRecognition.getClient(new JapaneseTextRecognizerOptions.Builder().build());

// When using Korean script library
TextRecognizer recognizer =
  TextRecognition.getClient(new KoreanTextRecognizerOptions.Builder().build());

2. تحضير صورة الإدخال

للتعرّف على نص في صورة، يمكنك إنشاء كائن InputImage من Bitmap أو media.Image أو ByteBuffer أو مصفوفة بايت أو من ملف على الجهاز. بعد ذلك، أدخِل الكائن InputImage إلى طريقة processImage في TextRecognizer.

يمكنك إنشاء كائن InputImage من مصادر مختلفة، وفيما يلي شرح لكل منها.

استخدام `media.Image`

لإنشاء عنصر InputImage من عنصر media.Image، مثلاً عند التقاط صورة من كاميرا جهاز، مرِّر الكائن media.Image وتدوير الصورة إلى InputImage.fromMediaImage().

إذا كنت تستخدم مكتبة CameraX، ستحتسب الفئتان OnImageCapturedListener وImageAnalysis.Analyzer قيمة التدوير نيابةً عنك.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

إذا كنت لا تستخدم مكتبة كاميرا تمنحك درجة دوران الصورة، يمكنك احتسابها من درجة دوران الجهاز واتجاه أداة استشعار الكاميرا في الجهاز:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

بعد ذلك، مرِّر الكائن media.Image وقيمة درجة الدوران إلى InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

استخدام معرّف موارد منتظم (URI) للملف

لإنشاء كائن InputImage من معرّف موارد منتظم (URI) للملف، أدخِل سياق التطبيق ومعرّف الموارد المنتظم (URI) للملف إلى InputImage.fromFilePath(). ويكون هذا الإجراء مفيدًا عند استخدام هدف ACTION_GET_CONTENT لتوجيه المستخدم إلى اختيار صورة من تطبيق معرض الصور الخاص به.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

استخدام `ByteBuffer` أو `ByteArray`

لإنشاء عنصر InputImage من ByteBuffer أو ByteArray، يجب أولاً احتساب درجة تدوير الصورة على النحو الموضّح سابقًا لإدخال media.Image. بعد ذلك، يمكنك إنشاء الكائن InputImage باستخدام المخزن المؤقت أو المصفوفة، بالإضافة إلى ارتفاع الصورة وعرضها وتنسيق ترميز الألوان ودرجة تدويرها:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

استخدام `Bitmap`

لإنشاء عنصر InputImage من عنصر Bitmap، عليك إجراء التعريف التالي:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

يتم تمثيل الصورة بكائن Bitmap مع درجات التدوير.

3. معالجة الصورة

تمرير الصورة إلى طريقة process:

Kotlin

val result = recognizer.process(image)
        .addOnSuccessListener { visionText ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }TextRecognitionActivity.kt

Java

Task<Text> result =
        recognizer.process(image)
                .addOnSuccessListener(new OnSuccessListener<Text>() {
                    @Override
                    public void onSuccess(Text visionText) {
                        // Task completed successfully
                        // ...
                    }
                })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                                // ...
                            }
                        });TextRecognitionActivity.java

ملاحظة: في حال استخدامك واجهة برمجة التطبيقات CameraX، احرص على إغلاق ImageProxy عند الانتهاء من استخدامها، مثلاً عن طريق إضافة OnCompleteListener إلى Task التي يتم عرضها من طريقة process. للاطّلاع على مثال، يمكنك الاطّلاع على صف VisionProcessorBase في نموذج التطبيق السريع.

4. استخراج النص من مجموعات النصوص التي تم التعرف عليها

إذا نجحت عملية التعرّف على النص، يتم تمرير عنصر Text إلى أداة معالجة النجاح. يحتوي الكائن Text على النص الكامل الذي تم التعرّف عليه في الصورة صفر أو أكثر من كائنات TextBlock.

وتمثّل كل علامة TextBlock نصًّا مستطيلاً لا يحتوي على عناصر Line أو أكثر. يمثّل كل عنصر Line سطرًا من النص يحتوي على صفر أو أكثر من عناصر Element. يمثّل كل كائن Element كلمة أو كيانًا يشبه الكلمة لا يحتوي على كائنات Symbol أو أكثر. ويمثّل كل كائن Symbol حرفًا أو رقمًا أو كيانًا يشبه الكلمة.

بالنسبة إلى كل عنصر من عناصر TextBlock وLine وElement وSymbol، يمكنك التعرّف على النص في المنطقة وإحداثيات الحدود الخاصة بالمنطقة والعديد من السمات الأخرى، مثل معلومات التناوب ونتيجة الثقة وغيرها.

مثال:

Kotlin

val resultText = result.text
for (block in result.textBlocks) {
    val blockText = block.text
    val blockCornerPoints = block.cornerPoints
    val blockFrame = block.boundingBox
    for (line in block.lines) {
        val lineText = line.text
        val lineCornerPoints = line.cornerPoints
        val lineFrame = line.boundingBox
        for (element in line.elements) {
            val elementText = element.text
            val elementCornerPoints = element.cornerPoints
            val elementFrame = element.boundingBox
        }
    }
}TextRecognitionActivity.kt

Java

String resultText = result.getText();
for (Text.TextBlock block : result.getTextBlocks()) {
    String blockText = block.getText();
    Point[] blockCornerPoints = block.getCornerPoints();
    Rect blockFrame = block.getBoundingBox();
    for (Text.Line line : block.getLines()) {
        String lineText = line.getText();
        Point[] lineCornerPoints = line.getCornerPoints();
        Rect lineFrame = line.getBoundingBox();
        for (Text.Element element : line.getElements()) {
            String elementText = element.getText();
            Point[] elementCornerPoints = element.getCornerPoints();
            Rect elementFrame = element.getBoundingBox();
            for (Text.Symbol symbol : element.getSymbols()) {
                String symbolText = symbol.getText();
                Point[] symbolCornerPoints = symbol.getCornerPoints();
                Rect symbolFrame = symbol.getBoundingBox();
            }
        }
    }
}TextRecognitionActivity.java

إرشادات إدخال الصورة

لكي تتعرّف أدوات تعلُّم الآلة على النص بدقة، يجب أن تتضمّن صور الإدخال نصًا يتم تمثيله ببيانات بكسل كافية. ويُفضَّل أن يكون حجم كل حرف 16×16 بكسل على الأقل. بشكل عام، ما مِن مزايا تتعلّق بالدقة إذا كانت الأحرف أكبر من 24×24 بكسل.

على سبيل المثال، قد تنجح صورة بحجم 640×480 في إجراء مسح ضوئي لبطاقة نشاط تجاري تشغل العرض الكامل للصورة. لمسح مستند مطبوع على ورق بحجم الحرف، يجب توفير صورة بدقة 720x1280 بكسل.
يمكن أن يؤثر التركيز السيئ للصورة في دقة التعرّف على النص. إذا لم تحصل على نتائج مقبولة، حاوِل أن تطلب من المستخدم إعادة التقاط الصورة.
إذا كنت تتعرّف على نص في تطبيق في الوقت الفعلي، يجب مراعاة الأبعاد العامة للصور التي يتم إدخالها. يمكن معالجة الصور الأصغر حجمًا بشكل أسرع. لتقليل وقت الاستجابة، تأكَّد من أنّ النص يشغل النص بأكبر قدر ممكن من الصورة، والتقِط الصور بدرجات دقة أقل (مع مراعاة متطلبات الدقة المذكورة أعلاه). للحصول على مزيد من المعلومات، اطّلِع على نصائح لتحسين الأداء.

نصائح لتحسين الأداء

إذا كنت تستخدم واجهة برمجة التطبيقات Camera أو camera2، يمكنك تقليل الطلبات إلى أداة الرصد. في حال توفُّر إطار فيديو جديد أثناء تشغيل أداة الرصد، أفلِته. للاطّلاع على مثال، يمكنك الاطّلاع على صف VisionProcessorBase في نموذج التطبيق السريع.
إذا كنت تستخدم واجهة برمجة التطبيقات CameraX، تأكَّد من ضبط استراتيجية الضغط العكسي على قيمتها التلقائية ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. يضمن ذلك تسليم صورة واحدة فقط لتحليلها في كل مرة. في حال إنشاء المزيد من الصور عندما تكون أداة التحليل مشغولة، سيتم تجاهلها تلقائيًا ولن يتم وضعها في قائمة الانتظار للتسليم. بعد إغلاق الصورة التي يتم تحليلها عن طريق استدعاء ImageProxy.Close()، سيتم عرض آخر صورة تالية.
إذا كنت تستخدم نتيجة أداة الرصد لإضافة رسومات على الصورة التي تم إدخالها، احصل أولاً على النتيجة من أدوات تعلّم الآلة، ثم اعرض الصورة والتراكب في خطوة واحدة. ويتم عرض هذا النص على سطح الشاشة مرة واحدة فقط لكل إطار إدخال. للاطّلاع على مثال، يمكنك الاطّلاع على صفَي CameraSourcePreview و GraphicOverlay في نموذج تطبيق البدء السريع.
في حال استخدام Camera2 API، التقِط الصور بتنسيق ImageFormat.YUV_420_888. إذا كنت تستخدم واجهة برمجة تطبيقات الكاميرا القديمة، يجب التقاط الصور بتنسيق ImageFormat.NV21.
ننصحك بالتقاط الصور بدقة أقل. يُرجى العِلم أيضًا أنّ متطلبات أبعاد الصورة في واجهة برمجة التطبيقات هذه.

التعرّف على النص في الصور باستخدام أدوات تعلّم الآلة على نظام التشغيل Android

تجربة السمات والبيانات

قبل البدء

1- إنشاء مثيل لـ TextRecognizer

Kotlin

Java

2. تحضير صورة الإدخال

استخدام media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

استخدام معرّف موارد منتظم (URI) للملف

Kotlin

Java

استخدام ByteBuffer أو ByteArray

Kotlin

Java

استخدام Bitmap

Kotlin

Java

3. معالجة الصورة

Kotlin

Java

4. استخراج النص من مجموعات النصوص التي تم التعرف عليها

Kotlin

Java

إرشادات إدخال الصورة

نصائح لتحسين الأداء

1- إنشاء مثيل لـ `TextRecognizer`

استخدام `media.Image`

استخدام `ByteBuffer` أو `ByteArray`

استخدام `Bitmap`