Android-এ ML Kit ব্যবহার করে ছবিতে থাকা টেক্সট শনাক্ত করা

আপনি ML Kit ব্যবহার করে ছবি বা ভিডিওতে টেক্সট শনাক্ত করতে পারবেন, যেমন রাস্তার সাইনবোর্ডের টেক্সট। এই ফিচারের প্রধান বৈশিষ্ট্যগুলি হল:

ফিচার আনবান্ডেল করা হয়েছে একত্রিত
লাইব্রেরির নাম com.google.android.gms:play-services-mlkit-text-recognition

com.google.android.gms:play-services-mlkit-text-recognition-chinese

com.google.android.gms:play-services-mlkit-text-recognition-devanagari

com.google.android.gms:play-services-mlkit-text-recognition-japanese

com.google.android.gms:play-services-mlkit-text-recognition-korean

com.google.mlkit:text-recognition

com.google.mlkit:text-recognition-chinese

com.google.mlkit:text-recognition-devanagari

com.google.mlkit:text-recognition-japanese

com.google.mlkit:text-recognition-korean

প্রয়োগ Google Play পরিষেবার মাধ্যমে মডেল ডায়নামিক ডাউনলোড করা হয়। বিল্ড করার সময় মডেলটি আপনার অ্যাপের সাথে স্ট্যাটিক্যালি লিঙ্ক করা হয়।
অ্যাপ সাইজ প্রতিটি স্ক্রিপ্ট আর্কিটেকচারের জন্য প্রায় ২৬০ কেবি সাইজ বৃদ্ধি পায়। প্রতিটি আর্কিটেকচারের প্রতিটি স্ক্রিপ্টের জন্য প্রায় ৪ এমবি সাইজ বৃদ্ধি।
শুরু করার সময় প্রথমবার ব্যবহারের আগে মডেল ডাউনলোড হওয়ার জন্য অপেক্ষা করতে হতে পারে। মডেলটি অবিলম্বে উপলভ্য।
পারফর্ম্যান্স ল্যাটিন স্ক্রিপ্ট লাইব্রেরির জন্য বেশিরভাগ ডিভাইসে রিয়েল-টাইম, অন্যদের জন্য ধীর। ল্যাটিন স্ক্রিপ্ট লাইব্রেরির জন্য বেশিরভাগ ডিভাইসে রিয়েল-টাইম, অন্যদের জন্য ধীরে ধীরে।

এটি ব্যবহার করে দেখুন

শুরু করার আগে

  1. আপনার প্রোজেক্ট-লেভেল build.gradle ফাইলে, আপনার buildscript এবং allprojects উভয় বিভাগেই Google-এর Maven রিপোজিটরি অন্তর্ভুক্ত করতে ভুলবেন না।
  2. আপনার মডিউলের অ্যাপ-লেভেল গ্র্যাডল ফাইলে ML Kit Android লাইব্রেরির জন্য ডিপেন্ডেন্সি যোগ করুন, এটি সাধারণত app/build.gradle:

    আপনার অ্যাপের সাথে মডেল বান্ডেল করার জন্য:

    dependencies {
      // To recognize Latin script
      implementation 'com.google.mlkit:text-recognition:16.0.1'
    
      // To recognize Chinese script
      implementation 'com.google.mlkit:text-recognition-chinese:16.0.1'
    
      // To recognize Devanagari script
      implementation 'com.google.mlkit:text-recognition-devanagari:16.0.1'
    
      // To recognize Japanese script
      implementation 'com.google.mlkit:text-recognition-japanese:16.0.1'
    
      // To recognize Korean script
      implementation 'com.google.mlkit:text-recognition-korean:16.0.1'
    }
    

    Google Play পরিষেবায় মডেল ব্যবহার করার জন্য:

    dependencies {
      // To recognize Latin script
      implementation 'com.google.android.gms:play-services-mlkit-text-recognition:19.0.1'
    
      // To recognize Chinese script
      implementation 'com.google.android.gms:play-services-mlkit-text-recognition-chinese:16.0.1'
    
      // To recognize Devanagari script
      implementation 'com.google.android.gms:play-services-mlkit-text-recognition-devanagari:16.0.1'
    
      // To recognize Japanese script
      implementation 'com.google.android.gms:play-services-mlkit-text-recognition-japanese:16.0.1'
    
      // To recognize Korean script
      implementation 'com.google.android.gms:play-services-mlkit-text-recognition-korean:16.0.1'
    }
    
  3. আপনি যদি Google Play পরিষেবায় মডেলটি ব্যবহার করার সিদ্ধান্ত নেন, তাহলে Play Store থেকে আপনার অ্যাপ ইনস্টল করার পরে ডিভাইসে অটোমেটিক মডেলটি ডাউনলোড করার জন্য আপনার অ্যাপ কনফিগার করতে পারবেন। এটি করতে, আপনার অ্যাপের AndroidManifest.xml ফাইলে নিম্নলিখিত ঘোষণা যোগ করুন:

    <application ...>
          ...
          <meta-data
              android:name="com.google.mlkit.vision.DEPENDENCIES"
              android:value="ocr" >
          <!-- To use multiple models: android:value="ocr,ocr_chinese,ocr_devanagari,ocr_japanese,ocr_korean,..." -->
    </application>
    

    এছাড়াও, আপনি Google Play পরিষেবার ModuleInstallClient API-এর মাধ্যমে মডেলের উপলভ্যতা স্পষ্টভাবে চেক করতে এবং ডাউনলোড করার অনুরোধ করতে পারেন। আপনি ইনস্টল-টাইম মডেল ডাউনলোড চালু না করলে বা এক্সপ্লিসিট ডাউনলোডের অনুরোধ না করলে, আপনি প্রথমবার স্ক্যানার চালানোর সময় মডেলটি ডাউনলোড করা হয়। ডাউনলোড সম্পূর্ণ হওয়ার আগে আপনি যে অনুরোধ করেছেন তার কোনও ফলাফল প্রদর্শিত হয় না।

১. TextRecognizer-এর একটি ইনস্ট্যান্স তৈরি করুন

TextRecognizer-এর একটি ইনস্ট্যান্স তৈরি করুন, উপরে আপনি যে লাইব্রেরির উপর নির্ভরতা ঘোষণা করেছেন সেটির সাথে সম্পর্কিত বিকল্পগুলি পাস করুন:

Kotlin

// When using Latin script library
val recognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS)

// When using Chinese script library
val recognizer = TextRecognition.getClient(ChineseTextRecognizerOptions.Builder().build())

// When using Devanagari script library
val recognizer = TextRecognition.getClient(DevanagariTextRecognizerOptions.Builder().build())

// When using Japanese script library
val recognizer = TextRecognition.getClient(JapaneseTextRecognizerOptions.Builder().build())

// When using Korean script library
val recognizer = TextRecognition.getClient(KoreanTextRecognizerOptions.Builder().build())

Java

// When using Latin script library
TextRecognizer recognizer =
  TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS);

// When using Chinese script library
TextRecognizer recognizer =
  TextRecognition.getClient(new ChineseTextRecognizerOptions.Builder().build());

// When using Devanagari script library
TextRecognizer recognizer =
  TextRecognition.getClient(new DevanagariTextRecognizerOptions.Builder().build());

// When using Japanese script library
TextRecognizer recognizer =
  TextRecognition.getClient(new JapaneseTextRecognizerOptions.Builder().build());

// When using Korean script library
TextRecognizer recognizer =
  TextRecognition.getClient(new KoreanTextRecognizerOptions.Builder().build());

২. ইনপুট ছবি প্রস্তুত করুন

কোনও ছবিতে টেক্সট শনাক্ত করতে, Bitmap, media.Image, ByteBuffer, বাইট অ্যারে অথবা ডিভাইসে থাকা কোনও ফাইল থেকে InputImage অবজেক্ট তৈরি করুন। তারপর, InputImage অবজেক্টটি TextRecognizer-এর processImage পদ্ধতিতে পাস করুন।

আপনি বিভিন্ন সোর্স থেকে InputImage অবজেক্ট তৈরি করতে পারবেন, প্রতিটি নিচে ব্যাখ্যা করা হয়েছে।

media.Image ব্যবহার করে

media.Image অবজেক্ট থেকে InputImage অবজেক্ট তৈরি করতে, যেমন, আপনি যখন ডিভাইসের ক্যামেরা থেকে কোনও ছবি ক্যাপচার করেন, তখন media.Image অবজেক্ট এবং ছবির রোটেশন InputImage.fromMediaImage()-এ পাস করুন।

আপনি CameraX লাইব্রেরি ব্যবহার করলে, OnImageCapturedListener এবং ImageAnalysis.Analyzer ক্লাস আপনার জন্য রোটেশন ভ্যালু গণনা করে।

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

আপনি যদি এমন কোনও ক্যামেরা লাইব্রেরি ব্যবহার না করেন যা আপনাকে ছবির রোটেশন ডিগ্রি দেয়, তাহলে আপনি ডিভাইসের রোটেশন ডিগ্রি এবং ডিভাইসে ক্যামেরা সেন্সরের ওরিয়েন্টেশন থেকে এটি গণনা করতে পারেন:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

তারপরে, media.Image অবজেক্ট এবং InputImage.fromMediaImage()-এ রোটেশন ডিগ্রি ভ্যালু পাস করুন:

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

ফাইল URI ব্যবহার করা

ফাইল URI থেকে InputImage অবজেক্ট তৈরি করতে, অ্যাপের প্রসঙ্গ এবং ফাইল URI InputImage.fromFilePath()-এ পাস করুন। এটি তখন কাজে লাগে যখন আপনি ACTION_GET_CONTENT ইনটেন্ট ব্যবহার করে ব্যবহারকারীকে তার গ্যালারি অ্যাপ থেকে কোনও ছবি বেছে নেওয়ার জন্য প্রম্পট করেন।

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

ByteBuffer বা ByteArray ব্যবহার করে

ByteBuffer বা ByteArray থেকে InputImage অবজেক্ট তৈরি করতে, প্রথমে media.Image ইনপুটের জন্য আগে যেভাবে বর্ণনা করা হয়েছে সেইভাবে ছবির রোটেশন ডিগ্রি গণনা করুন। তারপর, বাফার বা অ্যারে সহ InputImage অবজেক্ট তৈরি করুন, এর সাথে ছবির উচ্চতা, প্রস্থ, কালার এনকোডিং ফর্ম্যাট এবং রোটেশন ডিগ্রি যোগ করুন:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);

Bitmap ব্যবহার করা

Bitmap অবজেক্ট থেকে InputImage অবজেক্ট তৈরি করতে, নিম্নলিখিত ঘোষণাটি করুন:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);

ছবিটি Bitmap অবজেক্টের মাধ্যমে উপস্থাপন করা হয়, এর সাথে ঘোরানোর ডিগ্রিও থাকে।

৩. ছবি প্রসেস করুন

process পদ্ধতিতে ছবি পাস করুন:

Kotlin

val result = recognizer.process(image)
        .addOnSuccessListener { visionText ->
            // Task completed successfully
            // ...
        }
        .addOnFailureListener { e ->
            // Task failed with an exception
            // ...
        }

Java

Task<Text> result =
        recognizer.process(image)
                .addOnSuccessListener(new OnSuccessListener<Text>() {
                    @Override
                    public void onSuccess(Text visionText) {
                        // Task completed successfully
                        // ...
                    }
                })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                                // ...
                            }
                        });

৪. শনাক্ত করা টেক্সটের ব্লক থেকে টেক্সট এক্সট্র্যাক্ট করুন

টেক্সট শনাক্তকরণ অপারেশন সফল হলে, একটি Text অবজেক্ট সাকসেস লিসেনারে পাস করা হয়। Text অবজেক্টে ছবিতে শনাক্ত করা সম্পূর্ণ টেক্সট এবং শূন্য বা তার বেশি TextBlock অবজেক্ট থাকে।

প্রতিটি TextBlock টেক্সটের একটি আয়তাকার ব্লক, যা শূন্য বা তার বেশি Line অবজেক্ট কন্টেন করে। প্রতিটি Line অবজেক্ট টেক্সটের একটি লাইনকে দেখায়, যার মধ্যে শূন্য বা তার বেশি Element অবজেক্ট থাকে। প্রতিটি Element অবজেক্ট একটি শব্দ বা শব্দ-সদৃশ এন্টিটিকে দেখায়, যার মধ্যে শূন্য বা তার বেশি Symbol অবজেক্ট থাকে। প্রতিটি Symbol অবজেক্ট একটি অক্ষর, একটি সংখ্যা বা শব্দের মতো এন্টিটি দেখায়।

প্রতিটি TextBlock, Line, Element এবং Symbol অবজেক্টের জন্য, আপনি সেই অঞ্চলের টেক্সট, অঞ্চলের বাউন্ডিং কোঅর্ডিনেট এবং রোটেশন সংক্রান্ত তথ্য, কনফিডেন্স স্কোর ইত্যাদির মতো আরও অনেক অ্যাট্রিবিউট শনাক্ত করতে পারবেন।

যেমন:

Kotlin

val resultText = result.text
for (block in result.textBlocks) {
    val blockText = block.text
    val blockCornerPoints = block.cornerPoints
    val blockFrame = block.boundingBox
    for (line in block.lines) {
        val lineText = line.text
        val lineCornerPoints = line.cornerPoints
        val lineFrame = line.boundingBox
        for (element in line.elements) {
            val elementText = element.text
            val elementCornerPoints = element.cornerPoints
            val elementFrame = element.boundingBox
        }
    }
}

Java

String resultText = result.getText();
for (Text.TextBlock block : result.getTextBlocks()) {
    String blockText = block.getText();
    Point[] blockCornerPoints = block.getCornerPoints();
    Rect blockFrame = block.getBoundingBox();
    for (Text.Line line : block.getLines()) {
        String lineText = line.getText();
        Point[] lineCornerPoints = line.getCornerPoints();
        Rect lineFrame = line.getBoundingBox();
        for (Text.Element element : line.getElements()) {
            String elementText = element.getText();
            Point[] elementCornerPoints = element.getCornerPoints();
            Rect elementFrame = element.getBoundingBox();
            for (Text.Symbol symbol : element.getSymbols()) {
                String symbolText = symbol.getText();
                Point[] symbolCornerPoints = symbol.getCornerPoints();
                Rect symbolFrame = symbol.getBoundingBox();
            }
        }
    }
}

ইনপুট ছবি সংক্রান্ত নির্দেশিকা

  • ML Kit যাতে সঠিকভাবে টেক্সট শনাক্ত করতে পারে, তার জন্য ইনপুট ছবিতে এমন টেক্সট থাকতে হবে যা পর্যাপ্ত পিক্সেল ডেটা দ্বারা উপস্থাপিত হয়। সাধারণত, প্রতিটি অক্ষর অন্তত ১৬x১৬ পিক্সেলের হতে হবে। সাধারণত, অক্ষরগুলি ২৪x২৪ পিক্সেলের চেয়ে বড় হলে সঠিকতা সংক্রান্ত কোনও সুবিধা পাওয়া যায় না।

    যেমন, ৬৪০x৪৮০ সাইজের ছবি কোনও বিজনেস কার্ড স্ক্যান করার জন্য ভাল কাজ করতে পারে যেটি ছবির সম্পূর্ণ প্রস্থ জুড়ে থাকে। লেটার সাইজের কাগজে প্রিন্ট করা ডকুমেন্ট স্ক্যান করার জন্য, ৭২০x১২৮০ পিক্সেল ছবি প্রয়োজন হতে পারে।

  • ছবির ফোকাস ভাল না হলে, টেক্সট শনাক্তকরণের নির্ভুলতা প্রভাবিত হতে পারে। আপনি যদি গ্রহণযোগ্য ফলাফল না পান, তাহলে ব্যবহারকারীকে ছবিটি আবার ক্যাপচার করতে বলুন।

  • If you are recognizing text in a real-time application, you should consider the overall dimensions of the input images. ছোট ছবি আরও দ্রুত প্রসেস করা যায়। লেটেন্সি কমাতে, নিশ্চিত করুন যে টেক্সটটি যতটা সম্ভব ছবির বেশিরভাগ অংশ জুড়ে আছে এবং কম রেজোলিউশনে ছবি ক্যাপচার করুন (উপরে উল্লিখিত নির্ভুলতা সংক্রান্ত প্রয়োজনীয়তা মাথায় রেখে)। আরও তথ্যের জন্য, পারফর্ম্যান্স উন্নত করার পরামর্শ দেখুন।

পারফর্ম্যান্স উন্নত করার পরামর্শ

  • আপনি Camera বা camera2 API ব্যবহার করলে, ডিটেক্টরে কল থ্রটল করুন। ডিটেক্টর চলাকালীন কোনও নতুন ভিডিও ফ্রেম উপলভ্য হলে, ফ্রেমটি বাদ দিন। উদাহরণ হিসেবে কুইকস্টার্ট স্যাম্পেল অ্যাপে VisionProcessorBase ক্লাস দেখুন।
  • আপনি CameraX API ব্যবহার করলে, নিশ্চিত করুন যে ব্যাকপ্রেশার স্ট্র্যাটেজি এর ডিফল্ট ভ্যালু ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST-তে সেট করা আছে। এর ফলে, একবারে বিশ্লেষণের জন্য শুধুমাত্র একটি ছবিই ডেলিভার করা হবে। বিশ্লেষক ব্যস্ত থাকাকালীন আরও ছবি তৈরি হলে, সেগুলি অটোমেটিক বাদ দেওয়া হবে এবং ডেলিভারির জন্য সারিতে রাখা হবে না। ImageProxy.close() কল করে বিশ্লেষণ করা ছবি বন্ধ করে দিলে, পরবর্তী লেটেস্ট ছবি ডেলিভার করা হবে।
  • ইনপুট ইমেজে গ্রাফিক্স ওভারলে করার জন্য আপনি ডিটেক্টরের আউটপুট ব্যবহার করলে, প্রথমে ML Kit থেকে ফলাফল পান, তারপর ইমেজ রেন্ডার করুন এবং একটি ধাপে ওভারলে করুন। এটি প্রতিটি ইনপুট ফ্রেমের জন্য শুধুমাত্র একবার ডিসপ্লে সারফেসে রেন্ডার করে। উদাহরণ হিসেবে কুইকস্টার্ট স্যাম্পেল অ্যাপে CameraSourcePreview এবং GraphicOverlay ক্লাস দেখুন।
  • আপনি Camera2 API ব্যবহার করলে, ImageFormat.YUV_420_888 ফর্ম্যাটে ছবি ক্যাপচার করুন। আপনি পুরনো Camera API ব্যবহার করলে, ImageFormat.NV21 ফর্ম্যাটে ছবি তুলুন।
  • কম রেজোলিউশনে ছবি তোলার কথা বিবেচনা করুন। তবে, এই API-এর ছবির ডাইমেনশন সংক্রান্ত প্রয়োজনীয়তাও মনে রাখবেন।