এই পৃষ্ঠাটি Cloud Translation API অনুবাদ করেছে।

অ্যান্ড্রয়েডে একটি কাস্টম শ্রেণিবিন্যাস মডেলের সাথে বস্তুগুলি সনাক্ত করুন, ট্র্যাক করুন এবং শ্রেণীবদ্ধ করুন৷

আপনি ক্রমাগত ভিডিও ফ্রেমে বস্তু সনাক্ত এবং ট্র্যাক করতে ML কিট ব্যবহার করতে পারেন।

আপনি যখন ML Kit-এ একটি ছবি পাস করেন, তখন এটি চিত্রের প্রতিটি বস্তুর অবস্থানের সাথে পাঁচটি অবজেক্ট সনাক্ত করে। ভিডিও স্ট্রীমগুলিতে অবজেক্ট সনাক্ত করার সময়, প্রতিটি বস্তুর একটি অনন্য আইডি থাকে যা আপনি ফ্রেম থেকে ফ্রেমে অবজেক্ট ট্র্যাক করতে ব্যবহার করতে পারেন।

আপনি সনাক্ত করা বস্তুগুলিকে শ্রেণীবদ্ধ করতে একটি কাস্টম চিত্র শ্রেণীবিভাগ মডেল ব্যবহার করতে পারেন। মডেল সামঞ্জস্যের প্রয়োজনীয়তা, কোথায় প্রাক-প্রশিক্ষিত মডেলগুলি খুঁজে পাবেন এবং কীভাবে আপনার নিজের মডেলগুলিকে প্রশিক্ষিত করবেন সে সম্পর্কে নির্দেশনার জন্য অনুগ্রহ করে ML কিট সহ কাস্টম মডেলগুলি দেখুন৷

একটি কাস্টম মডেল সংহত করার দুটি উপায় আছে। আপনি মডেলটিকে আপনার অ্যাপের সম্পদ ফোল্ডারে রেখে বান্ডেল করতে পারেন অথবা আপনি Firebase থেকে গতিশীলভাবে ডাউনলোড করতে পারেন। নিম্নলিখিত সারণী দুটি বিকল্পের তুলনা করে।

বান্ডিল মডেল	হোস্টেড মডেল
মডেলটি আপনার অ্যাপের APK এর অংশ, যা এর আকার বাড়ায়।	মডেল আপনার APK অংশ নয়. এটি ফায়ারবেস মেশিন লার্নিং -এ আপলোড করে হোস্ট করা হয়।
Android ডিভাইস অফলাইনে থাকলেও মডেলটি অবিলম্বে উপলব্ধ	মডেলটি চাহিদা অনুযায়ী ডাউনলোড করা হয়
ফায়ারবেস প্রকল্পের প্রয়োজন নেই	একটি ফায়ারবেস প্রকল্প প্রয়োজন
মডেল আপডেট করতে আপনাকে অবশ্যই আপনার অ্যাপটি পুনরায় প্রকাশ করতে হবে	আপনার অ্যাপ পুনঃপ্রকাশ না করেই মডেল আপডেট পুশ করুন
বিল্ট-ইন A/B টেস্টিং নেই	ফায়ারবেস রিমোট কনফিগারেশনের সাথে সহজ A/B টেস্টিং

চেষ্টা কর

বান্ডিল মডেলের উদাহরণ ব্যবহারের জন্য ভিশন কুইকস্টার্ট অ্যাপ এবং হোস্ট করা মডেলের উদাহরণ ব্যবহারের জন্য অটোএমএল কুইকস্টার্ট অ্যাপ দেখুন।
এই API এর এন্ড-টু-এন্ড বাস্তবায়নের জন্য ম্যাটেরিয়াল ডিজাইন শোকেস অ্যাপটি দেখুন।

তুমি শুরু করার আগে

আপনার প্রকল্প-স্তরের build.gradle ফাইলে, আপনার buildscript এবং allprojects বিভাগেই Google-এর Maven সংগ্রহস্থল অন্তর্ভুক্ত করা নিশ্চিত করুন৷
আপনার মডিউলের অ্যাপ-লেভেল গ্রেডল ফাইলে এমএল কিট অ্যান্ড্রয়েড লাইব্রেরির নির্ভরতা যোগ করুন, যা সাধারণত app/build.gradle হয় :
আপনার অ্যাপের সাথে একটি মডেল বান্ডিল করার জন্য:
```
dependencies {
  // ...
  // Object detection & tracking feature with custom bundled model
  implementation 'com.google.mlkit:object-detection-custom:17.0.1'
}
```
ফায়ারবেস থেকে গতিশীলভাবে একটি মডেল ডাউনলোড করার জন্য, linkFirebase নির্ভরতা যোগ করুন:
```
dependencies {
  // ...
  // Object detection & tracking feature with model downloaded
  // from firebase
  implementation 'com.google.mlkit:object-detection-custom:17.0.1'
  implementation 'com.google.mlkit:linkfirebase:17.0.0'
}
```
আপনি যদি একটি মডেল ডাউনলোড করতে চান , তাহলে নিশ্চিত করুন যে আপনি আপনার Android প্রকল্পে Firebase যোগ করেছেন , যদি আপনি ইতিমধ্যে তা না করে থাকেন। আপনি মডেল বান্ডিল যখন এটি প্রয়োজন হয় না.

1. মডেল লোড করুন

একটি স্থানীয় মডেল উৎস কনফিগার করুন

আপনার অ্যাপের সাথে মডেল বান্ডিল করতে:

মডেল ফাইলটি কপি করুন (সাধারণত .tflite বা .lite এ শেষ হয়) আপনার অ্যাপের assets/ ফোল্ডারে। (আপনাকে প্রথমে app/ ফোল্ডারটিতে ডান-ক্লিক করে, তারপর নতুন > ফোল্ডার > সম্পদ ফোল্ডারে ক্লিক করে ফোল্ডারটি তৈরি করতে হতে পারে।)
তারপরে, অ্যাপ তৈরি করার সময় Gradle মডেল ফাইলটি সংকুচিত না করে তা নিশ্চিত করতে আপনার অ্যাপের build.gradle ফাইলে নিম্নলিখিতগুলি যোগ করুন:
```
android {
    // ...
    aaptOptions {
        noCompress "tflite"
        // or noCompress "lite"
    }
}
```
মডেল ফাইলটি অ্যাপ প্যাকেজে অন্তর্ভুক্ত করা হবে এবং একটি কাঁচা সম্পদ হিসাবে ML কিটের কাছে উপলব্ধ হবে৷
দ্রষ্টব্য: Android Gradle প্লাগইনের সংস্করণ 4.1 থেকে শুরু করে, .tflite ডিফল্টরূপে noCompress তালিকায় যোগ করা হবে এবং উপরেরটির আর প্রয়োজন নেই।
মডেল ফাইলের পাথ নির্দিষ্ট করে LocalModel অবজেক্ট তৈরি করুন:
কোটলিন
```
val localModel = LocalModel.Builder()
        .setAssetFilePath("model.tflite")
        // or .setAbsoluteFilePath(absolute file path to model file)
        // or .setUri(URI to model file)
        .build()
```
জাভা
```
LocalModel localModel =
    new LocalModel.Builder()
        .setAssetFilePath("model.tflite")
        // or .setAbsoluteFilePath(absolute file path to model file)
        // or .setUri(URI to model file)
        .build();
```
দ্রষ্টব্য: Android 11 (API লেভেল 30) টার্গেট করা অ্যাপগুলি Android 11-এ স্টোরেজ আপডেটের কারণে এক্সটার্নাল স্টোরেজ থেকে আর ফাইল অ্যাক্সেস করতে পারবে না।
দ্রষ্টব্য: আপনার যদি এমন একটি মডেল থাকে যা Firebase-এ AutoML Vision Edge- এর সাথে প্রশিক্ষিত ছিল (Google ক্লাউড নয়), উপরেরটি কাজ নাও করতে পারে। নির্দেশাবলীর জন্য মাইগ্রেশন গাইড অনুসরণ করুন.

একটি Firebase-হোস্টেড মডেল উৎস কনফিগার করুন

দূরবর্তীভাবে-হোস্ট করা মডেল ব্যবহার করতে, FirebaseModelSource দ্বারা একটি CustomRemoteModel অবজেক্ট তৈরি করুন, আপনি যখন এটি প্রকাশ করেছিলেন তখন আপনি মডেলটিকে যে নামটি নির্ধারণ করেছিলেন তা উল্লেখ করে:

কোটলিন

// Specify the name you assigned in the Firebase console.
val remoteModel =
    CustomRemoteModel
        .Builder(FirebaseModelSource.Builder("your_model_name").build())
        .build()

জাভা

// Specify the name you assigned in the Firebase console.
CustomRemoteModel remoteModel =
    new CustomRemoteModel
        .Builder(new FirebaseModelSource.Builder("your_model_name").build())
        .build();

তারপরে, আপনি যে শর্তে ডাউনলোড করার অনুমতি দিতে চান তা উল্লেখ করে মডেল ডাউনলোড টাস্ক শুরু করুন। যদি মডেলটি ডিভাইসে না থাকে, বা মডেলটির একটি নতুন সংস্করণ উপলব্ধ থাকলে, টাস্কটি অসিঙ্ক্রোনাসভাবে Firebase থেকে মডেলটি ডাউনলোড করবে:

কোটলিন

val downloadConditions = DownloadConditions.Builder()
    .requireWifi()
    .build()
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
    .addOnSuccessListener {
        // Success.
    }

জাভা

DownloadConditions downloadConditions = new DownloadConditions.Builder()
        .requireWifi()
        .build();
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(@NonNull Task task) {
                // Success.
            }
        });

অনেক অ্যাপ তাদের ইনিশিয়ালাইজেশন কোডে ডাউনলোড টাস্ক শুরু করে, কিন্তু মডেল ব্যবহার করার আগে আপনি যেকোন সময়ে তা করতে পারেন।

2. অবজেক্ট ডিটেক্টর কনফিগার করুন

আপনি আপনার মডেল উত্সগুলি কনফিগার করার পরে, একটি CustomObjectDetectorOptions অবজেক্টের সাথে আপনার ব্যবহারের ক্ষেত্রে অবজেক্ট ডিটেক্টর কনফিগার করুন। আপনি নিম্নলিখিত সেটিংস পরিবর্তন করতে পারেন:

অবজেক্ট ডিটেক্টর সেটিংস
সনাক্তকরণ মোড	`STREAM_MODE` (ডিফল্ট) \| `SINGLE_IMAGE_MODE` `STREAM_MODE` এ (ডিফল্ট), অবজেক্ট ডিটেক্টর কম লেটেন্সি সহ চলে, কিন্তু ডিটেক্টরের প্রথম কয়েকটি আহ্বানে অসম্পূর্ণ ফলাফল (যেমন অনির্দিষ্ট বাউন্ডিং বাক্স বা বিভাগ লেবেল) তৈরি করতে পারে। এছাড়াও, `STREAM_MODE` এ, ডিটেক্টর অবজেক্টে ট্র্যাকিং আইডি বরাদ্দ করে, যা আপনি ফ্রেম জুড়ে অবজেক্ট ট্র্যাক করতে ব্যবহার করতে পারেন। আপনি যখন অবজেক্ট ট্র্যাক করতে চান, বা যখন কম লেটেন্সি গুরুত্বপূর্ণ, যেমন রিয়েল টাইমে ভিডিও স্ট্রীমগুলি প্রক্রিয়া করার সময় এই মোডটি ব্যবহার করুন৷ `SINGLE_IMAGE_MODE` এ, অবজেক্ট ডিটেক্টর অবজেক্টের বাউন্ডিং বক্স নির্ধারণ করার পরে ফলাফল প্রদান করে। আপনি যদি শ্রেণীবিভাগও সক্ষম করেন তবে এটি বাউন্ডিং বাক্স এবং বিভাগ লেবেল উভয়ই উপলব্ধ হওয়ার পরে ফলাফল প্রদান করে। ফলস্বরূপ, সনাক্তকরণের বিলম্ব সম্ভাবনা বেশি। এছাড়াও, `SINGLE_IMAGE_MODE` এ, ট্র্যাকিং আইডি বরাদ্দ করা হয় না৷ যদি লেটেন্সি জটিল না হয় এবং আপনি আংশিক ফলাফলের সাথে মোকাবিলা করতে না চান তাহলে এই মোডটি ব্যবহার করুন৷
একাধিক বস্তু সনাক্ত করুন এবং ট্র্যাক করুন	`false` (ডিফল্ট) \| `true` পাঁচটি অবজেক্ট বা শুধুমাত্র সবচেয়ে বিশিষ্ট বস্তু (ডিফল্ট) পর্যন্ত সনাক্ত ও ট্র্যাক করতে হবে কিনা।
বস্তুর শ্রেণীবিভাগ করুন	`false` (ডিফল্ট) \| `true` প্রদত্ত কাস্টম ক্লাসিফায়ার মডেল ব্যবহার করে সনাক্ত করা বস্তুগুলিকে শ্রেণীবদ্ধ করা যায় কিনা। আপনার কাস্টম শ্রেণীবিভাগ মডেল ব্যবহার করতে, আপনাকে এটি `true` সেট করতে হবে।
শ্রেণীবিভাগ আত্মবিশ্বাস থ্রেশহোল্ড	শনাক্ত করা লেবেলের ন্যূনতম কনফিডেন্স স্কোর। সেট করা না থাকলে, মডেলের মেটাডেটা দ্বারা নির্দিষ্ট করা কোনো ক্লাসিফায়ার থ্রেশহোল্ড ব্যবহার করা হবে। যদি মডেলটিতে কোনো মেটাডেটা না থাকে বা মেটাডেটা কোনো শ্রেণীবদ্ধ থ্রেশহোল্ড নির্দিষ্ট না করে, তাহলে 0.0 এর একটি ডিফল্ট থ্রেশহোল্ড ব্যবহার করা হবে।
প্রতি বস্তুর জন্য সর্বোচ্চ লেবেল	প্রতি অবজেক্টের সর্বোচ্চ সংখ্যক লেবেল যা ডিটেক্টর ফেরত দেবে। যদি সেট না করা হয়, 10 এর ডিফল্ট মান ব্যবহার করা হবে।

বস্তু সনাক্তকরণ এবং ট্র্যাকিং API এই দুটি মূল ব্যবহারের ক্ষেত্রে অপ্টিমাইজ করা হয়েছে:

ক্যামেরা ভিউফাইন্ডারে সবচেয়ে বিশিষ্ট বস্তুর লাইভ সনাক্তকরণ এবং ট্র্যাকিং।
একটি স্ট্যাটিক ইমেজ থেকে একাধিক বস্তুর সনাক্তকরণ.

স্থানীয়ভাবে বান্ডেল করা মডেলের সাথে এই ব্যবহারের ক্ষেত্রে API কনফিগার করতে:

কোটলিন

// Live detection and tracking
val customObjectDetectorOptions =
        CustomObjectDetectorOptions.Builder(localModel)
        .setDetectorMode(CustomObjectDetectorOptions.STREAM_MODE)
        .enableClassification()
        .setClassificationConfidenceThreshold(0.5f)
        .setMaxPerObjectLabelCount(3)
        .build()

// Multiple object detection in static images
val customObjectDetectorOptions =
        CustomObjectDetectorOptions.Builder(localModel)
        .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableMultipleObjects()
        .enableClassification()
        .setClassificationConfidenceThreshold(0.5f)
        .setMaxPerObjectLabelCount(3)
        .build()

val objectDetector =
        ObjectDetection.getClient(customObjectDetectorOptions)

জাভা

// Live detection and tracking
CustomObjectDetectorOptions customObjectDetectorOptions =
        new CustomObjectDetectorOptions.Builder(localModel)
                .setDetectorMode(CustomObjectDetectorOptions.STREAM_MODE)
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();

// Multiple object detection in static images
CustomObjectDetectorOptions customObjectDetectorOptions =
        new CustomObjectDetectorOptions.Builder(localModel)
                .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableMultipleObjects()
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();

ObjectDetector objectDetector =
    ObjectDetection.getClient(customObjectDetectorOptions);

আপনার যদি দূরবর্তীভাবে-হোস্ট করা মডেল থাকে, তাহলে আপনাকে এটি চালানোর আগে এটি ডাউনলোড করা হয়েছে কিনা তা পরীক্ষা করতে হবে। আপনি মডেল ম্যানেজারের isModelDownloaded() পদ্ধতি ব্যবহার করে মডেল ডাউনলোড টাস্কের স্থিতি পরীক্ষা করতে পারেন।

যদিও ডিটেক্টর চালানোর আগে আপনাকে শুধুমাত্র এটি নিশ্চিত করতে হবে, যদি আপনার কাছে একটি দূরবর্তীভাবে-হোস্ট করা মডেল এবং একটি স্থানীয়ভাবে-বান্ডিল মডেল উভয়ই থাকে, তাহলে ইমেজ ডিটেক্টর ইনস্ট্যান্ট করার সময় এই চেকটি সম্পাদন করা বোধগম্য হতে পারে: যদি রিমোট মডেল থেকে একটি ডিটেক্টর তৈরি করুন এটি ডাউনলোড করা হয়েছে, এবং অন্যথায় স্থানীয় মডেল থেকে।

কোটলিন

RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
    .addOnSuccessListener { isDownloaded ->
    val optionsBuilder =
        if (isDownloaded) {
            CustomObjectDetectorOptions.Builder(remoteModel)
        } else {
            CustomObjectDetectorOptions.Builder(localModel)
        }
    val customObjectDetectorOptions = optionsBuilder
            .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
            .enableClassification()
            .setClassificationConfidenceThreshold(0.5f)
            .setMaxPerObjectLabelCount(3)
            .build()
    val objectDetector =
        ObjectDetection.getClient(customObjectDetectorOptions)
}

জাভা

RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
    .addOnSuccessListener(new OnSuccessListener() {
        @Override
        public void onSuccess(Boolean isDownloaded) {
            CustomObjectDetectorOptions.Builder optionsBuilder;
            if (isDownloaded) {
                optionsBuilder = new CustomObjectDetectorOptions.Builder(remoteModel);
            } else {
                optionsBuilder = new CustomObjectDetectorOptions.Builder(localModel);
            }
            CustomObjectDetectorOptions customObjectDetectorOptions = optionsBuilder
                .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();
            ObjectDetector objectDetector =
                ObjectDetection.getClient(customObjectDetectorOptions);
        }
});

যদি আপনার কাছে শুধুমাত্র একটি দূরবর্তীভাবে হোস্ট করা মডেল থাকে, তাহলে আপনি মডেল-সম্পর্কিত কার্যকারিতা অক্ষম করুন-উদাহরণস্বরূপ, আপনার UI-এর ধূসর-আউট বা অংশ লুকান-যতক্ষণ না আপনি নিশ্চিত করেন যে মডেলটি ডাউনলোড করা হয়েছে। আপনি মডেল ম্যানেজারের download() পদ্ধতিতে একজন শ্রোতাকে সংযুক্ত করে এটি করতে পারেন:

কোটলিন

RemoteModelManager.getInstance().download(remoteModel, conditions)
    .addOnSuccessListener {
        // Download complete. Depending on your app, you could enable the ML
        // feature, or switch from the local model to the remote model, etc.
    }

জাভা

RemoteModelManager.getInstance().download(remoteModel, conditions)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(Void v) {
              // Download complete. Depending on your app, you could enable
              // the ML feature, or switch from the local model to the remote
              // model, etc.
            }
        });

3. ইনপুট ইমেজ প্রস্তুত করুন

আপনার ইমেজ থেকে একটি InputImage অবজেক্ট তৈরি করুন। অবজেক্ট ডিটেক্টর সরাসরি একটি Bitmap , NV21 ByteBuffer বা একটি YUV_420_888 media.Image থেকে চলে৷ চিত্র৷ আপনার যদি সেগুলির মধ্যে একটিতে সরাসরি অ্যাক্সেস থাকে তবে সেই উত্সগুলি থেকে একটি InputImage তৈরি করার পরামর্শ দেওয়া হয়৷ আপনি যদি অন্য উত্স থেকে একটি InputImage তৈরি করেন, আমরা আপনার জন্য অভ্যন্তরীণভাবে রূপান্তর পরিচালনা করব এবং এটি কম কার্যকর হতে পারে।

আপনি বিভিন্ন উত্স থেকে একটি InputImage অবজেক্ট তৈরি করতে পারেন, প্রতিটি নীচে ব্যাখ্যা করা হয়েছে৷

একটি মিডিয়া ব্যবহার করে `media.Image`

একটি media.Image থেকে একটি InputImage অবজেক্ট তৈরি করতে। ইমেজ অবজেক্ট, যেমন আপনি যখন একটি ডিভাইসের ক্যামেরা থেকে একটি ছবি ক্যাপচার করেন, তখন মিডিয়াকে পাস করুন media.Image অবজেক্ট এবং ইমেজের রোটেশন InputImage.fromMediaImage() এ।

আপনি CameraX লাইব্রেরি ব্যবহার করলে, OnImageCapturedListener এবং ImageAnalysis.Analyzer ক্লাসগুলি আপনার জন্য ঘূর্ণন মান গণনা করে৷

কোটলিন

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

জাভা

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

আপনি যদি এমন একটি ক্যামেরা লাইব্রেরি ব্যবহার না করেন যা আপনাকে চিত্রের ঘূর্ণন ডিগ্রী দেয়, আপনি ডিভাইসের ঘূর্ণন ডিগ্রী এবং ডিভাইসে ক্যামেরা সেন্সরের অভিযোজন থেকে এটি গণনা করতে পারেন:

কোটলিন

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

জাভা

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

তারপর, media.Image অবজেক্ট এবং ঘূর্ণন ডিগ্রী মান InputImage.fromMediaImage() এ পাস করুন :

কোটলিন

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

একটি ফাইল ইউআরআই ব্যবহার করে

একটি ফাইল URI থেকে একটি InputImage অবজেক্ট তৈরি করতে, অ্যাপের প্রসঙ্গ এবং ফাইল URIকে InputImage.fromFilePath() এ পাস করুন। এটি উপযোগী যখন আপনি একটি ACTION_GET_CONTENT উদ্দেশ্য ব্যবহার করে ব্যবহারকারীকে তাদের গ্যালারি অ্যাপ থেকে একটি ছবি নির্বাচন করতে অনুরোধ করেন৷

কোটলিন

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

একটি `ByteBuffer` বা `ByteArray` ব্যবহার করে

একটি ByteBuffer বা একটি ByteArray থেকে একটি InputImage অবজেক্ট তৈরি করতে, প্রথমে media.Image ইনপুটের জন্য পূর্বে বর্ণিত চিত্রের ঘূর্ণন ডিগ্রি গণনা করুন৷ তারপরে, ছবির উচ্চতা, প্রস্থ, রঙ এনকোডিং বিন্যাস এবং ঘূর্ণন ডিগ্রী সহ বাফার বা অ্যারে সহ InputImage অবজেক্ট তৈরি করুন:

কোটলিন

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

জাভা

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

একটি `Bitmap` ব্যবহার করে

একটি Bitmap বস্তু থেকে একটি InputImage অবজেক্ট তৈরি করতে, নিম্নলিখিত ঘোষণা করুন:

কোটলিন

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

চিত্রটি ঘূর্ণন ডিগ্রী সহ একটি Bitmap বস্তু দ্বারা উপস্থাপিত হয়।

4. অবজেক্ট ডিটেক্টর চালান

কোটলিন

objectDetector
    .process(image)
    .addOnFailureListener(e -> {...})
    .addOnSuccessListener(results -> {
        for (detectedObject in results) {
          // ...
        }
    });

জাভা

objectDetector
    .process(image)
    .addOnFailureListener(e -> {...})
    .addOnSuccessListener(results -> {
        for (DetectedObject detectedObject : results) {
          // ...
        }
    });

দ্রষ্টব্য: আপনি যদি CameraX API ব্যবহার করেন, তাহলে ImageProxy ব্যবহার শেষ করার সময় এটি বন্ধ করতে ভুলবেন না, যেমন, process পদ্ধতি থেকে ফিরে আসা Task একটি OnCompleteListener যোগ করে। একটি উদাহরণের জন্য Quickstart নমুনা অ্যাপে VisionProcessorBase ক্লাস দেখুন।

5. লেবেলযুক্ত বস্তু সম্পর্কে তথ্য পান

কল টু process() সফল হলে, DetectedObject s-এর একটি তালিকা সফল শ্রোতার কাছে পাঠানো হয়।

প্রতিটি DetectedObject নিম্নলিখিত বৈশিষ্ট্য রয়েছে:

সীমান্ত বক্স একটি Rect যা ইমেজে বস্তুর অবস্থান নির্দেশ করে।

ট্র্যাকিং আইডি একটি পূর্ণসংখ্যা যা ইমেজ জুড়ে বস্তুকে সনাক্ত করে। SINGLE_IMAGE_MODE-এ শূন্য৷

লেবেল

লেবেল বিবরণ	লেবেলের পাঠ্য বিবরণ। শুধুমাত্র TensorFlow Lite মডেলের মেটাডেটাতে লেবেলের বিবরণ থাকলেই ফেরত দেওয়া হয়।
লেবেল সূচক	ক্লাসিফায়ার দ্বারা সমর্থিত সমস্ত লেবেলের মধ্যে লেবেলের সূচী৷
লেবেল আস্থা	বস্তুর শ্রেণীবিভাগের আস্থার মান।

কোটলিন

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (detectedObject in results) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
      val text = label.text
      val index = label.index
      val confidence = label.confidence
    }
}

জাভা

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : results) {
  Rect boundingBox = detectedObject.getBoundingBox();
  Integer trackingId = detectedObject.getTrackingId();
  for (Label label : detectedObject.getLabels()) {
    String text = label.getText();
    int index = label.getIndex();
    float confidence = label.getConfidence();
  }
}

একটি দুর্দান্ত ব্যবহারকারীর অভিজ্ঞতা নিশ্চিত করা

সেরা ব্যবহারকারীর অভিজ্ঞতার জন্য, আপনার অ্যাপে এই নির্দেশিকাগুলি অনুসরণ করুন:

সফল বস্তু সনাক্তকরণ বস্তুর চাক্ষুষ জটিলতার উপর নির্ভর করে। শনাক্ত করার জন্য, অল্প সংখ্যক চাক্ষুষ বৈশিষ্ট্য সহ বস্তুগুলিকে চিত্রের একটি বড় অংশ নিতে হতে পারে। আপনার ব্যবহারকারীদের ইনপুট ক্যাপচার করার নির্দেশিকা প্রদান করা উচিত যা আপনি যে ধরনের বস্তু সনাক্ত করতে চান তার সাথে ভাল কাজ করে।
আপনি যখন শ্রেণীবিভাগ ব্যবহার করেন, আপনি যদি এমন বস্তু সনাক্ত করতে চান যেগুলি পরিষ্কারভাবে সমর্থিত বিভাগে পড়ে না, অজানা বস্তুর জন্য বিশেষ হ্যান্ডলিং প্রয়োগ করুন।

এছাড়াও, মেশিন লার্নিং-চালিত বৈশিষ্ট্য সংগ্রহের জন্য এমএল কিট মেটেরিয়াল ডিজাইন শোকেস অ্যাপ এবং মেটেরিয়াল ডিজাইন প্যাটার্ন দেখুন।

কর্মক্ষমতা উন্নতি

আপনি যদি রিয়েল-টাইম অ্যাপ্লিকেশনে অবজেক্ট ডিটেকশন ব্যবহার করতে চান, তাহলে সেরা ফ্রেমরেটগুলি অর্জন করতে এই নির্দেশিকাগুলি অনুসরণ করুন:

আপনি যখন রিয়েল-টাইম অ্যাপ্লিকেশনে স্ট্রিমিং মোড ব্যবহার করেন, তখন একাধিক অবজেক্ট সনাক্তকরণ ব্যবহার করবেন না, কারণ বেশিরভাগ ডিভাইস পর্যাপ্ত ফ্রেমরেট তৈরি করতে সক্ষম হবে না।
আপনি Camera বা camera2 API ব্যবহার করলে, ডিটেক্টরে থ্রোটল কল করুন। ডিটেক্টর চলাকালীন একটি নতুন ভিডিও ফ্রেম উপলব্ধ হলে, ফ্রেমটি ফেলে দিন। একটি উদাহরণের জন্য Quickstart নমুনা অ্যাপে VisionProcessorBase ক্লাস দেখুন।
আপনি যদি CameraX API ব্যবহার করেন, নিশ্চিত হন যে ব্যাকপ্রেশার কৌশলটি এর ডিফল্ট মান ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST এ সেট করা আছে। এটি গ্যারান্টি দেয় যে একবারে বিশ্লেষণের জন্য শুধুমাত্র একটি চিত্র সরবরাহ করা হবে। বিশ্লেষক ব্যস্ত থাকাকালীন যদি আরও ছবি তৈরি করা হয়, তবে সেগুলি স্বয়ংক্রিয়ভাবে ড্রপ করা হবে এবং বিতরণের জন্য সারিবদ্ধ হবে না। একবার ImageProxy.close() কল করে বিশ্লেষিত চিত্রটি বন্ধ হয়ে গেলে পরবর্তী সর্বশেষ চিত্রটি বিতরণ করা হবে।
আপনি যদি ইনপুট ইমেজে গ্রাফিক্স ওভারলে করার জন্য ডিটেক্টরের আউটপুট ব্যবহার করেন, তাহলে প্রথমে ML Kit থেকে ফলাফল পান, তারপর একটি একক ধাপে চিত্র এবং ওভারলে রেন্ডার করুন। এটি প্রতিটি ইনপুট ফ্রেমের জন্য শুধুমাত্র একবার প্রদর্শন পৃষ্ঠে রেন্ডার করে। একটি উদাহরণের জন্য Quickstart নমুনা অ্যাপে CameraSourcePreview এবং GraphicOverlay ক্লাসগুলি দেখুন।
আপনি Camera2 API ব্যবহার করলে, ImageFormat.YUV_420_888 ফরম্যাটে ছবি ক্যাপচার করুন। আপনি পুরানো ক্যামেরা API ব্যবহার করলে, ImageFormat.NV21 ফর্ম্যাটে ছবিগুলি ক্যাপচার করুন৷

অ্যান্ড্রয়েডে একটি কাস্টম শ্রেণিবিন্যাস মডেলের সাথে বস্তুগুলি সনাক্ত করুন, ট্র্যাক করুন এবং শ্রেণীবদ্ধ করুন৷

চেষ্টা কর

তুমি শুরু করার আগে

1. মডেল লোড করুন

একটি স্থানীয় মডেল উৎস কনফিগার করুন

কোটলিন

জাভা

একটি Firebase-হোস্টেড মডেল উৎস কনফিগার করুন

কোটলিন

জাভা

কোটলিন

জাভা

2. অবজেক্ট ডিটেক্টর কনফিগার করুন

কোটলিন

জাভা

কোটলিন

জাভা

কোটলিন

জাভা

3. ইনপুট ইমেজ প্রস্তুত করুন

একটি মিডিয়া ব্যবহার করে media.Image

কোটলিন

জাভা

কোটলিন

জাভা

কোটলিন

Java

একটি ফাইল ইউআরআই ব্যবহার করে

কোটলিন

Java

একটি ByteBuffer বা ByteArray ব্যবহার করে

কোটলিন

জাভা

একটি Bitmap ব্যবহার করে

কোটলিন

Java

4. অবজেক্ট ডিটেক্টর চালান

কোটলিন

জাভা

5. লেবেলযুক্ত বস্তু সম্পর্কে তথ্য পান

কোটলিন

জাভা

একটি দুর্দান্ত ব্যবহারকারীর অভিজ্ঞতা নিশ্চিত করা

কর্মক্ষমতা উন্নতি

একটি মিডিয়া ব্যবহার করে `media.Image`

একটি `ByteBuffer` বা `ByteArray` ব্যবহার করে

একটি `Bitmap` ব্যবহার করে