رصد العناصر وتتبّعها وتصنيفها باستخدام نموذج تصنيف مخصّص على نظام Android

تنظيم صفحاتك في مجموعات يمكنك حفظ المحتوى وتصنيفه حسب إعداداتك المفضّلة.
يمكنك استخدام حزمة تعلّم الآلة لرصد العناصر وتتبّعها في إطارات الفيديو المتتالية.

عند تمرير صورة إلى حزمة تعلّم الآلة، ترصد هذه الميزة ما يصل إلى خمسة عناصر في الصورة، إلى جانب موضع كل عنصر في الصورة. وعند اكتشاف عناصر في بث الفيديو، يكون لكل عنصر معرّف فريد يمكنك استخدامه لتتبّع العنصر من إطار إلى آخر.

يمكنك استخدام نموذج مخصّص لتصنيف الصور لتصنيف العناصر التي يتم اكتشافها. يُرجى الرجوع إلى النماذج المخصّصة باستخدام حزمة تعلّم الآلة للحصول على إرشادات حول متطلبات توافق النموذج، وأماكن العثور على النماذج المدرّبة مسبقًا، وكيفية تدريب النماذج الخاصة بك.

هناك طريقتان لدمج نموذج مخصّص. يمكنك تجميع النموذج من خلال وضعه داخل مجلد مواد العرض في تطبيقك، أو يمكنك تنزيله ديناميكيًا من Firebase. يقارن الجدول التالي الخيارَين.

النموذج المجمّع النموذج المستضاف
هذا النموذج هو جزء من حزمة APK لتطبيقك، ما يزيد من حجمه. الطراز ليس جزءًا من حزمة APK. وتتم استضافتها من خلال تحميل المحتوى إلى تعلُّم الآلة في Firebase.
يتوفّر الطراز على الفور، حتى عندما يكون جهاز Android غير متصل بالإنترنت. يتم تنزيل النموذج عند الطلب.
لا حاجة إلى مشروع على Firebase يتطلب مشروع Firebase
يجب إعادة نشر تطبيقك لتعديل النموذج. إرسال تحديثات النماذج بدون إعادة نشر تطبيقك
لا يوجد اختبار A/B المدمج اختبار A/B سهل باستخدام الإعداد عن بُعد في Firebase

قبل البدء

  1. في ملف build.gradle على مستوى المشروع، تأكَّد من تضمين مستودع Google Maven في كل من قسمَي buildscript وallprojects.

  2. أضِف المهام التابعة لمكتبات حزمة تعلُّم الآلة في Android إلى وحدة الملف الشخصي على مستوى التطبيق، والتي عادةً ما تكون app/build.gradle:

    لعرض نموذج باستخدام تطبيقك:

    dependencies {
      // ...
      // Object detection & tracking feature with custom bundled model
      implementation 'com.google.mlkit:object-detection-custom:17.0.0'
    }
    

    لتنزيل نموذج بشكل ديناميكي من Firebase، أضِف اعتمادية linkFirebase:

    dependencies {
      // ...
      // Object detection & tracking feature with model downloaded
      // from firebase
      implementation 'com.google.mlkit:object-detection-custom:17.0.0'
      implementation 'com.google.mlkit:linkfirebase:17.0.0'
    }
    
  3. إذا كنت تريد تنزيل نموذج، تأكّد من إضافة Firebase إلى مشروع Android، إذا لم يسبق لك إجراء ذلك، علمًا بأن هذا الإجراء غير ضروري عند تجميع النموذج.

1- تحميل النموذج

ضبط مصدر نموذج محلي

لحزمة النموذج مع تطبيقك:

  1. انسخ ملف النموذج (الذي ينتهي عادةً بـ .tflite أو .lite) إلى مجلد تطبيق assets/. (قد تحتاج إلى إنشاء المجلد أولاً عن طريق النقر بزر الماوس الأيمن على المجلد app/، ثم النقر على New > Folder >Asset Folder.)

  2. أضِف بعد ذلك ما يلي إلى ملف build.gradle في تطبيقك للتأكّد من أنّ جهاز Grall لا يضغط ملف النموذج عند إنشاء التطبيق:

    android {
        // ...
        aaptOptions {
            noCompress "tflite"
            // or noCompress "lite"
        }
    }
    

    سيتم تضمين ملف النموذج في حزمة التطبيق، وسيصبح متوفرًا في حزمة ML Kit كمادة عرض أولية.

  3. إنشاء كائن LocalModel، مع تحديد المسار إلى ملف النموذج:

    Kotlin

    val localModel = LocalModel.Builder()
            .setAssetFilePath("model.tflite")
            // or .setAbsoluteFilePath(absolute file path to model file)
            // or .setUri(URI to model file)
            .build()

    Java

    LocalModel localModel =
        new LocalModel.Builder()
            .setAssetFilePath("model.tflite")
            // or .setAbsoluteFilePath(absolute file path to model file)
            // or .setUri(URI to model file)
            .build();

ضبط مصدر نموذج مستضاف على Firebase

لاستخدام النموذج المستضاف عن بُعد، يمكنك إنشاء عنصر CustomRemoteModel بحلول FirebaseModelSource، مع تحديد الاسم الذي حدّدته للنموذج عند نشره:

Kotlin

// Specify the name you assigned in the Firebase console.
val remoteModel =
    CustomRemoteModel
        .Builder(FirebaseModelSource.Builder("your_model_name").build())
        .build()

Java

// Specify the name you assigned in the Firebase console.
CustomRemoteModel remoteModel =
    new CustomRemoteModel
        .Builder(new FirebaseModelSource.Builder("your_model_name").build())
        .build();

بعد ذلك، يمكنك بدء مهمة تنزيل النموذج، مع تحديد الشروط التي تريد السماح بالتنزيل بموجبها. وإذا لم يكن النموذج متوفّرًا على الجهاز، أو إذا كان إصدار أحدث من النموذج متوفّرًا، ستنزّل المهمة النموذج من Firebase بشكل غير متزامن:

Kotlin

val downloadConditions = DownloadConditions.Builder()
    .requireWifi()
    .build()
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
    .addOnSuccessListener {
        // Success.
    }

Java

DownloadConditions downloadConditions = new DownloadConditions.Builder()
        .requireWifi()
        .build();
RemoteModelManager.getInstance().download(remoteModel, downloadConditions)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(@NonNull Task task) {
                // Success.
            }
        });

يبدأ العديد من التطبيقات مهمة التنزيل في رمز الإعداد، ولكن يمكنك تنفيذ ذلك في أي وقت قبل أن تحتاج إلى استخدام النموذج.

2. إعداد أداة رصد العنصر

بعد إعداد مصادر النموذج، اضبط أداة رصد الكائنات لحالة الاستخدام باستخدام عنصر CustomObjectDetectorOptions. يمكنك تغيير الإعدادات التالية:

إعدادات أداة كشف العنصر
وضع الرصد STREAM_MODE (تلقائي) | SINGLE_IMAGE_MODE

وفي STREAM_MODE (الإعداد التلقائي)، تعمل أداة الكشف عن العناصر بوقت استجابة سريع، ولكنها قد تؤدي إلى نتائج غير مكتملة (مثل المربّعات المقيّدة أو تصنيفات الفئات غير محدّدة) عند الاستدعاءات القليلة الأولى لأداة الكشف. في STREAM_MODE، تُخصِّص أداة الرصد أرقام تعريف التتبُّع للعناصر، التي يمكنك استخدامها لتتبُّع العناصر في جميع الإطارات. استخدِم هذا الوضع عندما تريد تتبّع العناصر أو عندما يكون وقت الاستجابة مهمًا، مثلاً عند معالجة فيديوهات البث في الوقت الفعلي.

في SINGLE_IMAGE_MODE، تعرض أداة رصد العنصر النتيجة بعد تحديد مربّع التعرّف على الكائن. وفي حال تفعيل التصنيف أيضًا، سيتم عرض النتيجة بعد توفّر مربّع الاختيار وتصنيف الفئة. ونتيجةً لذلك، قد يكون وقت الاستجابة للرصد أعلى. ولا يتم تخصيص أرقام تعريف التتبّع في SINGLE_IMAGE_MODE. استخدِم هذا الوضع إذا كان وقت الاستجابة مهمًا ولا تريد التعامل مع النتائج الجزئية.

اكتشاف كائنات متعددة وتتبعها false (تلقائي) | true

يمكنك رصد ما يصل إلى خمسة عناصر وتتبُّعها فقط أو عرض العنصر الأكثر بروزًا فقط (تلقائي).

تصنيف العناصر false (تلقائي) | true

ما إذا كان سيتم تصنيف العناصر التي تم رصدها أم لا باستخدام نموذج المصنِّف المخصّص الذي تم توفيره. لاستخدام نموذج التصنيف المخصّص، عليك ضبطه على true.

الحد الأدنى لثقة التصنيف

الحد الأدنى لنتيجة الثقة للتصنيفات التي تم اكتشافها. وفي حال ترك هذه السياسة بدون ضبط، سيتم استخدام أي حدّ تصنيف للبيانات الوصفية المحدَّد في النموذج. إذا لم يتضمّن النموذج أي بيانات وصفية أو لم تحدّد البيانات الوصفية حدًّا تصنيفًا، سيتمّ استخدام حدّ أدنى تلقائي يبلغ 0.0.

الحد الأقصى للتصنيفات لكل عنصر

الحد الأقصى لعدد التصنيفات لكل عنصر ستعرضه أداة الرصد. وفي حال ترك هذه السياسة بدون ضبط، سيتم استخدام القيمة التلقائية التي تبلغ 10.

تم تحسين واجهة برمجة تطبيقات اكتشاف الكائنات والتتبّع من أجل حالتي الاستخدام الأساسيتَين:

  • الرصد المباشر للأشياء الأكثر أهمية وتتبّعها في عدسة الكاميرا
  • يتم رصد عناصر متعدّدة من صورة ثابتة.

لضبط واجهة برمجة التطبيقات لحالات الاستخدام هذه، باستخدام نموذج مُجمَّع محليًا:

Kotlin

// Live detection and tracking
val customObjectDetectorOptions =
        CustomObjectDetectorOptions.Builder(localModel)
        .setDetectorMode(CustomObjectDetectorOptions.STREAM_MODE)
        .enableClassification()
        .setClassificationConfidenceThreshold(0.5f)
        .setMaxPerObjectLabelCount(3)
        .build()

// Multiple object detection in static images
val customObjectDetectorOptions =
        CustomObjectDetectorOptions.Builder(localModel)
        .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
        .enableMultipleObjects()
        .enableClassification()
        .setClassificationConfidenceThreshold(0.5f)
        .setMaxPerObjectLabelCount(3)
        .build()

val objectDetector =
        ObjectDetection.getClient(customObjectDetectorOptions)

Java

// Live detection and tracking
CustomObjectDetectorOptions customObjectDetectorOptions =
        new CustomObjectDetectorOptions.Builder(localModel)
                .setDetectorMode(CustomObjectDetectorOptions.STREAM_MODE)
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();

// Multiple object detection in static images
CustomObjectDetectorOptions customObjectDetectorOptions =
        new CustomObjectDetectorOptions.Builder(localModel)
                .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableMultipleObjects()
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();

ObjectDetector objectDetector =
    ObjectDetection.getClient(customObjectDetectorOptions);

إذا كان لديك نموذج تتم استضافته عن بُعد، عليك التأكّد من أنه تم تنزيله قبل تشغيله. يمكنك التحقق من حالة مهمة تنزيل النموذج باستخدام طريقة isModelDownloaded() لمدير النموذج.

على الرغم من أنك تحتاج إلى تأكيد ذلك فقط قبل تشغيل أداة الكشف، إذا كان لديك نموذج تتم استضافته عن بُعد ونموذج مجمع محليًا، قد يكون من المفيد إجراء هذا الفحص عند إنشاء أداة رصد صور: أنشئ أداة رصد من النموذج البعيد إذا كان قد تم تنزيله، ومن النموذج المحلي بخلاف ذلك.

Kotlin

RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
    .addOnSuccessListener { isDownloaded ->
    val optionsBuilder =
        if (isDownloaded) {
            CustomObjectDetectorOptions.Builder(remoteModel)
        } else {
            CustomObjectDetectorOptions.Builder(localModel)
        }
    val customObjectDetectorOptions = optionsBuilder
            .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
            .enableClassification()
            .setClassificationConfidenceThreshold(0.5f)
            .setMaxPerObjectLabelCount(3)
            .build()
    val objectDetector =
        ObjectDetection.getClient(customObjectDetectorOptions)
}

Java

RemoteModelManager.getInstance().isModelDownloaded(remoteModel)
    .addOnSuccessListener(new OnSuccessListener() {
        @Override
        public void onSuccess(Boolean isDownloaded) {
            CustomObjectDetectorOptions.Builder optionsBuilder;
            if (isDownloaded) {
                optionsBuilder = new CustomObjectDetectorOptions.Builder(remoteModel);
            } else {
                optionsBuilder = new CustomObjectDetectorOptions.Builder(localModel);
            }
            CustomObjectDetectorOptions customObjectDetectorOptions = optionsBuilder
                .setDetectorMode(CustomObjectDetectorOptions.SINGLE_IMAGE_MODE)
                .enableClassification()
                .setClassificationConfidenceThreshold(0.5f)
                .setMaxPerObjectLabelCount(3)
                .build();
            ObjectDetector objectDetector =
                ObjectDetection.getClient(customObjectDetectorOptions);
        }
});

إذا كان لديك نموذج تتم استضافته عن بُعد فقط، عليك إيقاف الوظيفة ذات الصلة بالنموذج، مثل اللون الرمادي أو إخفاء جزء من واجهة المستخدم، إلى أن تؤكد أنّه تم تنزيل النموذج. يمكنك إجراء ذلك من خلال ربط المستمع بطريقة download() لدى مدير النموذج:

Kotlin

RemoteModelManager.getInstance().download(remoteModel, conditions)
    .addOnSuccessListener {
        // Download complete. Depending on your app, you could enable the ML
        // feature, or switch from the local model to the remote model, etc.
    }

Java

RemoteModelManager.getInstance().download(remoteModel, conditions)
        .addOnSuccessListener(new OnSuccessListener() {
            @Override
            public void onSuccess(Void v) {
              // Download complete. Depending on your app, you could enable
              // the ML feature, or switch from the local model to the remote
              // model, etc.
            }
        });

3- إعداد صورة الإدخال

أنشِئ عنصر InputImage من صورتك. تعمل أداة رصد الكائن مباشرةً من Bitmap أو NV21 ByteBuffer أو YUV_420_888 media.Image. ويُنصَح بإنشاء InputImage من هذه المصادر إذا كان لديك حق وصول مباشر إلى أحدها. إذا أنشأت InputImage من مصادر أخرى، سنعالج الإحالة الناجحة داخليًا نيابةً عنك، وقد تكون أقل كفاءة.

يمكنك إنشاء كائن InputImage من مصادر مختلفة، وسيتم توضيح كل منها في ما يلي.

باستخدام media.Image

لإنشاء عنصر InputImage من كائن media.Image، مثلاً عند التقاط صورة من كاميرا الجهاز، مرِّر الكائن media.Image وتدوير الصورة إلى InputImage.fromMediaImage().

إذا كنت تستخدم مكتبة XX، تحسب الفئتان OnImageCapturedListener وImageAnalysis.Analyzer قيمة التدوير نيابةً عنك.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

إذا لم تكن تستخدم مكتبة كاميرا تمنحك درجة تدوير الصورة، يمكنك احتسابها من درجة تدوير الجهاز واتجاه جهاز استشعار الكاميرا في الجهاز:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

بعد ذلك، اضبط العنصر media.Image وقيمة درجة التدوير على InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

استخدام معرف موارد منتظم (URI) للملف

لإنشاء عنصر InputImage من معرّف موارد منتظم (URI)، يجب تمرير سياق التطبيق ومعرّف الموارد المنتظم (URI) إلى InputImage.fromFilePath(). ويكون هذا الإجراء مفيدًا عندما تستخدم نيّة ACTION_GET_CONTENT لحثّ المستخدم على اختيار صورة من تطبيق معرض الصور.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

باستخدام ByteBuffer أو ByteArray

لإنشاء عنصر InputImage من ByteBuffer أو ByteArray، يجب أولاً حساب درجة عرض الصور بالتناوب كما هو موضّح سابقًا في إدخال media.Image. بعد ذلك، يمكنك إنشاء العنصر InputImage باستخدام المخزن المؤقت أو المصفوفة، مع طول الصورة وعرضها وتنسيق ترميز الألوان ودرجة الدوران:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);

باستخدام Bitmap

لإنشاء كائن InputImage من كائن Bitmap، عليك اتخاذ الإجراء التالي:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);

ويتم تمثيل الصورة من خلال عنصر Bitmap جنبًا إلى جنب مع درجات التدوير.

4. تشغيل أداة رصد العناصر

Kotlin

objectDetector
    .process(image)
    .addOnFailureListener(e -> {...})
    .addOnSuccessListener(results -> {
        for (detectedObject in results) {
          // ...
        }
    });

Java

objectDetector
    .process(image)
    .addOnFailureListener(e -> {...})
    .addOnSuccessListener(results -> {
        for (DetectedObject detectedObject : results) {
          // ...
        }
    });

5. الحصول على معلومات حول العناصر التي تم تصنيفها

في حال نجاح الاتصال بـ process()، سيتم تمرير قائمة DetectedObjects إلى المستمع الناجح.

يحتوي كل DetectedObject على السمات التالية:

مربّع ربط تشير هذه السمة Rect إلى موضع العنصر في الصورة.
الرقم التعريفي للتتبع عدد صحيح يحدد العنصر عبر الصور. قيمة فارغة في SINGLE_IMAGE_MODE.
التصنيفات
وصف التصنيف وصف نص التصنيف. لا يتم عرضها إلا إذا كانت بيانات TensorFlow النموذجية من طراز TensorFlow تشتمل على أوصاف للتصنيفات.
فهرس التصنيفات فهرس "التصنيفات" بين جميع التصنيفات المتاحة في المصنِّف.
ثقة التصنيف قيمة الثقة لتصنيف العنصر.

Kotlin

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (detectedObject in results) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
      val text = label.text
      val index = label.index
      val confidence = label.confidence
    }
}

Java

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : results) {
  Rect boundingBox = detectedObject.getBoundingBox();
  Integer trackingId = detectedObject.getTrackingId();
  for (Label label : detectedObject.getLabels()) {
    String text = label.getText();
    int index = label.getIndex();
    float confidence = label.getConfidence();
  }
}

ضمان تقديم تجربة رائعة للمستخدمين

للحصول على أفضل تجربة للمستخدم، اتّبع الإرشادات التالية في تطبيقك:

  • يعتمد الاكتشاف الناجح للعناصر على التعقيد المرئي للكائن. لكي يتم اكتشاف العناصر التي تحتاج إلى عدد قليل من الميزات المرئية، قد تحتاج إلى أن تشغل مساحة أكبر من الصورة. يجب تزويد المستخدمين بإرشادات حول التقاط البيانات التي تؤدي بشكل جيد مع أنواع العناصر التي تريد اكتشافها.
  • عند استخدام التصنيف، إذا أردت رصد كائنات لا تندرج ضمن الفئات المتوافقة، يمكنك تنفيذ معالجة خاصة للكائنات غير المعروفة.

يمكنك أيضًا الاطّلاع على مجموعة ML Kit Material Design لعرض وتصميم المواد المتعددة للأنماط المستندة إلى تعلُّم الآلة.

Improving performance

إذا أردت استخدام ميزة "رصد الكائنات" في تطبيق في الوقت الفعلي، اتّبِع الإرشادات التالية للحصول على أفضل معدّلات عرض الإطارات:

  • عند استخدام وضع البث في تطبيق في الوقت الفعلي، لا تستخدم ميزة "رصد كائنات متعددة"، لأن معظم الأجهزة لن تتمكّن من إنشاء معدل عرض إطارات كافٍ.

  • إذا كنت تستخدم Camera أو واجهة برمجة التطبيقات camera2، يمكنك تقييد الاتصالات إلى أداة الرصد. وفي حال توفّر إطار فيديو جديد أثناء تشغيل أداة الرصد، أفلِت الإطار. يمكنك الاطّلاع على السمة VisionProcessorBase في نموذج البدء السريع للحصول على مثال.
  • إذا كنت تستخدم واجهة برمجة تطبيقات CameraX، تأكد من ضبط استراتيجية الضغط على القيمة التلقائية ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. وهذا يضمن تسليم صورة واحدة فقط للتحليل في كل مرة. وإذا تم إنشاء المزيد من الصور عندما تكون أداة التحليل مشغولة، سيتم إدراجها تلقائيًا ولن يتم وضعها في قائمة الانتظار للتسليم. بعد أن يتم إغلاق الصورة التي يتم تحليلها من خلال استدعاء ImageProxy.close()، سيتم تسليم الصورة التالية التالية.
  • إذا كنت تستخدم ناتج أداة الكشف لتراكب الرسومات على الصورة المُدخلة، عليك أولاً الحصول على النتيجة من حزمة تعلّم الآلة، ثم عرض الصورة والتراكب على خطوة واحدة. ويتم العرض على مساحة العرض مرة واحدة فقط لكل إطار إدخال. يمكنك الاطّلاع على السمتَين CameraSourcePreview و GraphicOverlay في نموذج التطبيق السريع للبدء كمثال.
  • إذا كنت تستخدم واجهة برمجة التطبيقات للكاميرا 2، التقِط صورًا بتنسيق ImageFormat.YUV_420_888. إذا كنت تستخدم واجهة برمجة تطبيقات الكاميرا القديمة، التقِط صورًا بتنسيق ImageFormat.NV21.