رصد العناصر وتتبّعها باستخدام أدوات تعلّم الآلة على Android

يمكنك استخدام حزمة تعلّم الآلة لرصد العناصر وتتبُّعها في إطارات الفيديو المتتالية.

عند تمرير صورة إلى "حزمة تعلُّم الآلة"، سترصد ما يصل إلى خمسة عناصر في الصورة، بالإضافة إلى موضع كل عنصر في الصورة. عند رصد عناصر في بث الفيديو، يكون لكل عنصر معرّف فريد يمكنك استخدامه لتتبُّع العنصر من إطار إلى آخر. يمكنك أيضًا تفعيل التصنيف التقريبي للعناصر بشكل اختياري، ما يؤدي إلى تصنيف العناصر باستخدام أوصاف فئات عامة.

تستخدم واجهة برمجة التطبيقات هذه مكتبة غير مجمَّعة يجب تنزيلها قبل الاستخدام. يمكنك الاطّلاع على هذا الدليل لمزيد من المعلومات.

للتجربة:

• يمكنك تجربة التطبيق النموذجي للاطّلاع على مثال على كيفية استخدام واجهة برمجة التطبيقات هذه.
• يمكنك الاطّلاع على تطبيق عرض Material Design لمعرفة كيفية استخدام واجهة برمجة التطبيقات هذه بشكل كامل.

قبل البدء

تتطلّب واجهة برمجة التطبيقات هذه المستوى 23 من واجهة برمجة التطبيقات في Android أو إصدارًا أحدث. تأكَّد من أنّ ملف الإصدار الخاص بتطبيقك يستخدم القيمة minSdkVersion أو قيمة أعلى من 23.

1. في ملف build.gradle على مستوى المشروع، احرص على تضمين مستودع Maven الخاص بـ Google في كل من القسمين buildscript وallprojects.
2. أضِف العناصر التابعة لحزمة تعلّم الآلة على Android إلى ملف Gradle على مستوى التطبيق الخاص بالوحدة، والذي يكون عادةً app/build.gradle:

   dependencies {
     // ...
   
     implementation 'com.google.mlkit:object-detection:17.0.2'
   
   }

1. ضبط أداة رصد العناصر

لرصد العناصر وتتبُّعها، عليك أولاً إنشاء مثيل من ObjectDetector وتحديد أي إعدادات للكاشف تريد تغييرها من الإعدادات التلقائية، وذلك بشكل اختياري.

1. اضبط أداة رصد العناصر لتناسب حالة الاستخدام من خلال كائن ObjectDetectorOptions. يمكنك تغيير الإعدادات التالية:

   إعدادات أداة رصد الأجسام
   وضع الرصد	‫STREAM_MODE (تلقائي) | SINGLE_IMAGE_MODE في الوضع STREAM_MODE (تلقائي)، يتم تشغيل أداة رصد العناصر بزمن انتقال منخفض، ولكن قد تعرض نتائج غير مكتملة (مثل مربعات محيطة أو تصنيفات غير محدّدة) في المرات القليلة الأولى التي يتم فيها استدعاء أداة الرصد. بالإضافة إلى ذلك، في STREAM_MODE، يحدّد أداة الرصد أرقام تعريف التتبُّع للعناصر، ويمكنك استخدامها لتتبُّع العناصر في جميع اللقطات. استخدِم هذا الوضع عندما تريد تتبُّع الكائنات أو عندما يكون وقت الاستجابة المنخفض مهمًا، مثلاً عند معالجة بث الفيديو في الوقت الفعلي. في SINGLE_IMAGE_MODE، تعرض أداة رصد الأجسام النتيجة بعد تحديد المربّع المحيط بالجسم. في حال تفعيل التصنيف أيضًا، سيتم عرض النتيجة بعد توفّر كل من المربّع المحيط وتصنيف الفئة. ونتيجةً لذلك، قد يكون وقت الاستجابة لرصد المشاكل أطول. بالإضافة إلى ذلك، لا يتم تعيين أرقام تعريف التتبّع في SINGLE_IMAGE_MODE. استخدِم هذا الوضع إذا لم يكن وقت الاستجابة عاملاً مهمًا، وإذا كنت لا تريد التعامل مع نتائج جزئية.
   رصد عناصر متعددة وتتبُّعها	‫false (تلقائي) | true تحديد ما إذا كان سيتم رصد وتتبُّع ما يصل إلى خمسة عناصر أو العنصر الأبرز فقط (الإعداد التلقائي)
   تصنيف العناصر	‫false (تلقائي) | true تحديد ما إذا كان سيتم تصنيف الأجسام التي تم رصدها إلى فئات عامة أم لا عند تفعيل أداة رصد العناصر، تصنّف هذه الأداة العناصر إلى الفئات التالية: سلع الموضة والطعام والسلع المنزلية والأماكن والنباتات.

   تم تحسين واجهة برمجة التطبيقات لرصد العناصر وتتبُّعها لحالتَي الاستخدام الأساسيتَين التاليتَين:

   • رصد وتتبُّع العنصر الأبرز في عدسة الكاميرا بشكل مباشر
   • رصد عناصر متعددة من صورة ثابتة

   لضبط واجهة برمجة التطبيقات لحالات الاستخدام هذه، اتّبِع الخطوات التالية:

   Kotlin

   // Live detection and tracking
   val options = ObjectDetectorOptions.Builder()
           .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
           .enableClassification()  // Optional
           .build()
   
   // Multiple object detection in static images
   val options = ObjectDetectorOptions.Builder()
           .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
           .enableMultipleObjects()
           .enableClassification()  // Optional
           .build()

   جافا

   // Live detection and tracking
   ObjectDetectorOptions options =
           new ObjectDetectorOptions.Builder()
                   .setDetectorMode(ObjectDetectorOptions.STREAM_MODE)
                   .enableClassification()  // Optional
                   .build();
   
   // Multiple object detection in static images
   ObjectDetectorOptions options =
           new ObjectDetectorOptions.Builder()
                   .setDetectorMode(ObjectDetectorOptions.SINGLE_IMAGE_MODE)
                   .enableMultipleObjects()
                   .enableClassification()  // Optional
                   .build();

2. الحصول على مثيل من ObjectDetector:

   Kotlin

   val objectDetector = ObjectDetection.getClient(options)

   جافا

   ObjectDetector objectDetector = ObjectDetection.getClient(options);

2. إعداد الصورة المصدر

لرصد العناصر وتتبُّعها، مرِّر الصور إلى طريقة process() الخاصة بكائن ObjectDetector.

يتم تشغيل أداة رصد العناصر مباشرةً من Bitmap أو ByteBuffer بتنسيق NV21 أو media.Image بتنسيق YUV_420_888. ننصحك بإنشاء InputImage من هذه المصادر إذا كان بإمكانك الوصول إلى أحدها مباشرةً. إذا أنشأت InputImage من مصادر أخرى، سنتولّى عملية التحويل داخليًا، وقد تكون أقل فعالية.

لكل إطار من الفيديو أو الصورة في التسلسل، اتّبِع الخطوات التالية:

يمكنك إنشاء عنصر InputImage من مصادر مختلفة، ويتم توضيح كل منها أدناه.

استخدام media.Image

لإنشاء عنصر InputImage من عنصر media.Image، مثلاً عند التقاط صورة من كاميرا جهاز، مرِّر العنصر media.Image وزاوية دوران الصورة إلى InputImage.fromMediaImage().

إذا كنت تستخدم مكتبة CameraX، سيحسب لك الفئتان OnImageCapturedListener وImageAnalysis.Analyzer قيمة التدوير.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

جافا

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

إذا لم تستخدم مكتبة كاميرا تمنحك درجة دوران الصورة، يمكنك احتسابها من درجة دوران الجهاز واتجاه مستشعر الكاميرا في الجهاز:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}
MLKitVisionImage.kt

جافا

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

بعد ذلك، مرِّر العنصر media.Image وقيمة درجة الدوران إلى InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

استخدام معرّف موارد منتظم (URI) للملف

لإنشاء عنصر InputImage من معرّف موارد منتظم (URI) لملف، مرِّر سياق التطبيق ومعرّف الموارد المنتظم (URI) للملف إلى InputImage.fromFilePath(). ويكون ذلك مفيدًا عند استخدام ACTION_GET_CONTENT intent لحث المستخدم على اختيار صورة من تطبيق معرض الصور.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}
MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

استخدام ByteBuffer أو ByteArray

لإنشاء عنصر InputImage من ByteBuffer أو ByteArray، عليك أولاً حساب درجة دوران الصورة كما هو موضّح سابقًا بالنسبة إلى إدخال media.Image. بعد ذلك، أنشئ عنصر InputImage باستخدام المخزن المؤقت أو المصفوفة، بالإضافة إلى ارتفاع الصورة وعرضها وتنسيق ترميز الألوان ودرجة الدوران:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

جافا

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);
MLKitVisionImage.java

استخدام Bitmap

لإنشاء عنصر InputImage من عنصر Bitmap، عليك إجراء التصريح التالي:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
MLKitVisionImage.java

يتم تمثيل الصورة باستخدام عنصر Bitmap مع درجات التدوير.

3- معالجة الصورة

مرِّر الصورة إلى طريقة process():

Kotlin

objectDetector.process(image)
    .addOnSuccessListener { detectedObjects ->
        // Task completed successfully
        // ...
    }
    .addOnFailureListener { e ->
        // Task failed with an exception
        // ...
    }

جافا

objectDetector.process(image)
    .addOnSuccessListener(
        new OnSuccessListener<List<DetectedObject>>() {
            @Override
            public void onSuccess(List<DetectedObject> detectedObjects) {
                // Task completed successfully
                // ...
            }
        })
    .addOnFailureListener(
        new OnFailureListener() {
            @Override
            public void onFailure(@NonNull Exception e) {
                // Task failed with an exception
                // ...
            }
        });

ملاحظة: إذا كنت تستخدم واجهة برمجة التطبيقات CameraX، احرص على إغلاق ImageProxy عند الانتهاء من استخدامها، على سبيل المثال، من خلال إضافة OnCompleteListener إلى Task التي تم إرجاعها من الطريقة process. يمكنك الاطّلاع على فئة VisionProcessorBase في نموذج تطبيق البدء السريع للحصول على مثال.

4. الحصول على معلومات حول العناصر التي تم رصدها

إذا نجح طلب process()، سيتم تمرير قائمة DetectedObject إلى أداة معالجة النجاح.

ملاحظة: في وضع البث، قد يحتاج أداة رصد العناصر إلى معالجة 30 إطارًا أو أكثر، وذلك حسب أداء الجهاز، قبل رصد العنصر الأول.

تحتوي كل DetectedObject على السمات التالية:

مربّع الحدود	تمثّل هذه السمة Rect موضع العنصر في الصورة.
رقم تعريف التتبّع	عدد صحيح يعرّف العنصر في جميع الصور قيمة فارغة في SINGLE_IMAGE_MODE
التصنيفات	وصف التصنيف وصف النص الخاص بالتصنيف سيكون أحد الثوابت String المحدّدة في PredefinedCategory. فهرس التصنيف فهرس التصنيف بين جميع التصنيفات التي يتيحها المصنّف. سيكون أحد الثوابت الصحيحة المحدّدة في PredefinedCategory. مستوى الثقة في التصنيف تمثّل هذه السمة قيمة الثقة في تصنيف العنصر.

Kotlin

for (detectedObject in detectedObjects) {
    val boundingBox = detectedObject.boundingBox
    val trackingId = detectedObject.trackingId
    for (label in detectedObject.labels) {
        val text = label.text
        if (PredefinedCategory.FOOD == text) {
            ...
        }
        val index = label.index
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        val confidence = label.confidence
    }
}

جافا

// The list of detected objects contains one item if multiple
// object detection wasn't enabled.
for (DetectedObject detectedObject : detectedObjects) {
    Rect boundingBox = detectedObject.getBoundingBox();
    Integer trackingId = detectedObject.getTrackingId();
    for (Label label : detectedObject.getLabels()) {
        String text = label.getText();
        if (PredefinedCategory.FOOD.equals(text)) {
            ...
        }
        int index = label.getIndex();
        if (PredefinedCategory.FOOD_INDEX == index) {
            ...
        }
        float confidence = label.getConfidence();
    }
}

ضمان تقديم تجربة رائعة للمستخدم

لتقديم أفضل تجربة للمستخدم، اتّبِع الإرشادات التالية في تطبيقك:

• يعتمد نجاح عملية رصد العناصر على درجة تعقيدها المرئي. لكي يتم رصد الأجسام التي تحتوي على عدد قليل من الميزات المرئية، قد تحتاج إلى أن تشغل جزءًا أكبر من الصورة. عليك تزويد المستخدمين بإرشادات حول تسجيل الإدخالات التي تعمل بشكل جيد مع نوع العناصر التي تريد رصدها.
• عند استخدام التصنيف، إذا أردت رصد عناصر لا تندرج بشكل واضح ضمن الفئات المتوافقة، عليك تنفيذ معالجة خاصة للعناصر غير المعروفة.

يمكنك أيضًا الاطّلاع على تطبيق عرض التصميم المتعدد الأبعاد في "حزمة تعلُّم الآلة" ومجموعة أنماط التصميم المتعدد الأبعاد للميزات المستندة إلى تعلُّم الآلة.

تحسين الأداء

إذا أردت استخدام ميزة "رصد العناصر" في تطبيق يعمل في الوقت الفعلي، اتّبِع الإرشادات التالية للحصول على أفضل معدّلات عرض اللقطات في الثانية:

• عند استخدام وضع البث في تطبيق يعمل في الوقت الفعلي، لا تستخدِم ميزة "رصد العناصر المتعددة"، لأنّ معظم الأجهزة لن تتمكّن من إنتاج معدّلات لقطات كافية.

• أوقِف التصنيف إذا لم تكن بحاجة إليه.

• إذا كنت تستخدم واجهة برمجة التطبيقات Camera أو camera2، عليك تقليل عدد طلبات البيانات من أداة الرصد. إذا توفّر إطار فيديو جديد أثناء تشغيل أداة الرصد، يجب تجاهل الإطار. يمكنك الاطّلاع على فئة VisionProcessorBase في نموذج تطبيق البدء السريع للحصول على مثال.
• إذا كنت تستخدم واجهة برمجة التطبيقات CameraX، تأكَّد من ضبط استراتيجية الضغط الخلفي على القيمة التلقائية ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. يضمن ذلك تسليم صورة واحدة فقط لتحليلها في كل مرة. إذا تم إنتاج المزيد من الصور عندما يكون المحلّل مشغولاً، سيتم إسقاطها تلقائيًا ولن يتم وضعها في قائمة انتظار التسليم. بعد إغلاق الصورة التي يتم تحليلها من خلال استدعاء ImageProxy.close()، سيتم عرض أحدث صورة تالية.
• إذا كنت تستخدم ناتج أداة رصد لتراكب الرسومات على صورة الإدخال، احصل أولاً على النتيجة من حزمة تعلّم الآلة، ثم اعرض الصورة وتراكبها في خطوة واحدة. ويتم عرضها على سطح الشاشة مرة واحدة فقط لكل إطار إدخال. يمكنك الاطّلاع على الفئتين CameraSourcePreview و GraphicOverlay في نموذج تطبيق البدء السريع للحصول على مثال.
• إذا كنت تستخدم Camera2 API، التقط الصور بتنسيق ImageFormat.YUV_420_888. إذا كنت تستخدم واجهة برمجة التطبيقات القديمة للكاميرا، التقط الصور بتنسيق ImageFormat.NV21.