تمت ترجمة هذه الصفحة بواسطة Cloud Translation API‏.

تصنيف الصورة الذاتية باستخدام "حزمة تعلّم الآلة" على نظام التشغيل Android

توفّر هذه الأدوات حزمة تطوير برامج (SDK) محسَّنة لتصنيف الصور الذاتية.

تكون مواد عرض أداة تقسيم الصور الذاتية مرتبطة بشكلٍ ثابت بتطبيقك في وقت الإصدار. سيؤدي ذلك إلى زيادة حجم تنزيل تطبيقك بمقدار 4.5 ميغابايت تقريبًا، ويمكن أن يختلف وقت استجابة واجهة برمجة التطبيقات من 25 ملي ثانية إلى 65 ملي ثانية حسب حجم صورة الإدخال، وذلك حسب ما تم قياسه على هاتف Pixel 4.

التجربة الآن

جرّب نموذج التطبيق للاطّلاع على مثال لاستخدام واجهة برمجة التطبيقات هذه.

قبل البدء

تتطلّب واجهة برمجة التطبيقات هذه المستوى 21 أو أعلى من واجهة برمجة تطبيقات Android. تأكَّد من أنّ ملف إصدار التطبيق يستخدم قيمة minSdkVersion تساوي 21 أو قيمة أعلى.

في ملف build.gradle على مستوى المشروع، تأكَّد من تضمين مستودع Maven من Google في كل من القسمَين buildscript وallprojects.
أضِف تبعيات مكتبات ML Kit لنظام التشغيل Android إلى ملف Gradle على مستوى التطبيق في الوحدة، والذي يكون عادةً app/build.gradle:

dependencies {
  implementation 'com.google.mlkit:segmentation-selfie:16.0.0-beta5'
}

1- إنشاء مثيل لأداة التقسيم

خيارات أداة التقسيم

لتقسيم صورة، أنشئ أولاً مثيلاً لـ Segmenter من خلال تحديد الخيارات التالية.

وضع الرصد

تعمل ميزة "Segmenter" في وضعَين. واحرص على اختيار النموذج الذي يتوافق مع حالة استخدامك.

STREAM_MODE (default)

تم تصميم هذا الوضع لبث الإطارات من الفيديو أو الكاميرا. في هذا الوضع، سيستفيد القسم من نتائج الإطارات السابقة لعرض نتائج تصنيف أكثر سلاسة.

SINGLE_IMAGE_MODE

تم تصميم هذا الوضع للصور الفردية غير المرتبطة ببعضها. في هذا الوضع، سيعالج المقسِّم كل صورة بشكل مستقل، بدون تجانس الإطارات.

تفعيل قناع الحجم الأولي

تطلب من المقسِّم عرض قناع الحجم الأولي الذي يطابق حجم إخراج النموذج.

عادةً ما يكون حجم القناع الأولي (مثلاً 256x256) أصغر من حجم صورة الإدخال. يُرجى الاتصال بالرمزَين SegmentationMask#getWidth() وSegmentationMask#getHeight() لمعرفة حجم القناع عند تفعيل هذا الخيار.

بدون تحديد هذا الخيار، سيعيد التقسيم حجم القناع الأولي ليطابق حجم صورة الإدخال. جرِّب استخدام هذا الخيار إذا كنت تريد تطبيق منطق مخصّص لتغيير الحجم أو عدم الحاجة إلى تغيير الحجم لحالة الاستخدام.

حدِّد خيارات أداة التقسيم:

Kotlin

val options =
        SelfieSegmenterOptions.Builder()
            .setDetectorMode(SelfieSegmenterOptions.STREAM_MODE)
            .enableRawSizeMask()
            .build()

Java

SelfieSegmenterOptions options =
        new SelfieSegmenterOptions.Builder()
            .setDetectorMode(SelfieSegmenterOptions.STREAM_MODE)
            .enableRawSizeMask()
            .build();

إنشاء مثيل لـ Segmenter. مرر الخيارات التي حددتها:

Kotlin

val segmenter = Segmentation.getClient(options)

Java

Segmenter segmenter = Segmentation.getClient(options);

2- تجهيز صورة الإدخال

لتقسيم صورة، يمكنك إنشاء كائن InputImage من Bitmap أو media.Image أو ByteBuffer أو صفيف بايت أو ملف على الجهاز.

يمكنك إنشاء عنصر InputImage من مصادر مختلفة، وتم توضيح كلّ منها أدناه.

استخدام `media.Image`

لإنشاء عنصر InputImage من عنصر media.Image، مثلاً عند التقاط صورة من كاميرا جهاز، مرِّر العنصر media.Image وتدوير الصورة إلى InputImage.fromMediaImage().

إذا كنت تستخدم مكتبة CameraX، ستحتسب الفئتان OnImageCapturedListener وImageAnalysis.Analyzer قيمة التدوير نيابةً عنك.

Kotlin

private class YourImageAnalyzer : ImageAnalysis.Analyzer {

    override fun analyze(imageProxy: ImageProxy) {
        val mediaImage = imageProxy.image
        if (mediaImage != null) {
            val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees)
            // Pass image to an ML Kit Vision API
            // ...
        }
    }
}

Java

private class YourAnalyzer implements ImageAnalysis.Analyzer {

    @Override
    public void analyze(ImageProxy imageProxy) {
        Image mediaImage = imageProxy.getImage();
        if (mediaImage != null) {
          InputImage image =
                InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees());
          // Pass image to an ML Kit Vision API
          // ...
        }
    }
}

إذا كنت لا تستخدم مكتبة كاميرا توفّر لك درجة تدوير الصورة، يمكنك احتسابها من درجة تدوير الجهاز واتجاه أداة استشعار الكاميرا في الجهاز:

Kotlin

private val ORIENTATIONS = SparseIntArray()

init {
    ORIENTATIONS.append(Surface.ROTATION_0, 0)
    ORIENTATIONS.append(Surface.ROTATION_90, 90)
    ORIENTATIONS.append(Surface.ROTATION_180, 180)
    ORIENTATIONS.append(Surface.ROTATION_270, 270)
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Throws(CameraAccessException::class)
private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    val deviceRotation = activity.windowManager.defaultDisplay.rotation
    var rotationCompensation = ORIENTATIONS.get(deviceRotation)

    // Get the device's sensor orientation.
    val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager
    val sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION)!!

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360
    }
    return rotationCompensation
}MLKitVisionImage.kt

Java

private static final SparseIntArray ORIENTATIONS = new SparseIntArray();
static {
    ORIENTATIONS.append(Surface.ROTATION_0, 0);
    ORIENTATIONS.append(Surface.ROTATION_90, 90);
    ORIENTATIONS.append(Surface.ROTATION_180, 180);
    ORIENTATIONS.append(Surface.ROTATION_270, 270);
}

/**
 * Get the angle by which an image must be rotated given the device's current
 * orientation.
 */
@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing)
        throws CameraAccessException {
    // Get the device's current rotation relative to its "native" orientation.
    // Then, from the ORIENTATIONS table, look up the angle the image must be
    // rotated to compensate for the device's rotation.
    int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int rotationCompensation = ORIENTATIONS.get(deviceRotation);

    // Get the device's sensor orientation.
    CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE);
    int sensorOrientation = cameraManager
            .getCameraCharacteristics(cameraId)
            .get(CameraCharacteristics.SENSOR_ORIENTATION);

    if (isFrontFacing) {
        rotationCompensation = (sensorOrientation + rotationCompensation) % 360;
    } else { // back-facing
        rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360;
    }
    return rotationCompensation;
}

بعد ذلك، مرِّر الكائن media.Image وقيمة درجة الدوران إلى InputImage.fromMediaImage():

Kotlin

val image = InputImage.fromMediaImage(mediaImage, rotation)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromMediaImage(mediaImage, rotation);

استخدام معرّف موارد منتظم (URI) للملف

لإنشاء عنصر InputImage من معرّف الموارد المنتظم (URI) الخاص بالملف، أدخِل سياق التطبيق ومعرّف الموارد المنتظم (URI) للملف إلى InputImage.fromFilePath(). ويكون هذا الإجراء مفيدًا إذا كنت تستخدم هدف ACTION_GET_CONTENT لتطلب من المستخدم اختيار صورة من تطبيق معرض الصور.

Kotlin

val image: InputImage
try {
    image = InputImage.fromFilePath(context, uri)
} catch (e: IOException) {
    e.printStackTrace()
}MLKitVisionImage.kt

Java

InputImage image;
try {
    image = InputImage.fromFilePath(context, uri);
} catch (IOException e) {
    e.printStackTrace();
}

استخدام `ByteBuffer` أو `ByteArray`

لإنشاء عنصر InputImage من ByteBuffer أو ByteArray، احسب أولاً درجة تدوير الصورة كما هو موضّح سابقًا لإدخال media.Image. بعد ذلك، يمكنك إنشاء الكائن InputImage باستخدام المخزن المؤقت أو المصفوفة مع ارتفاع الصورة وعرضها وتنسيق ترميز اللون ودرجة التدوير:

Kotlin

val image = InputImage.fromByteBuffer(
        byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)MLKitVisionImage.kt
// Or:
val image = InputImage.fromByteArray(
        byteArray,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
)
MLKitVisionImage.kt

Java

InputImage image = InputImage.fromByteBuffer(byteBuffer,
        /* image width */ 480,
        /* image height */ 360,
        rotationDegrees,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java
// Or:
InputImage image = InputImage.fromByteArray(
        byteArray,
        /* image width */480,
        /* image height */360,
        rotation,
        InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12
);MLKitVisionImage.java

استخدام `Bitmap`

لإنشاء كائن InputImage من كائن Bitmap، يجب تقديم البيان التالي:

Kotlin

val image = InputImage.fromBitmap(bitmap, 0)MLKitVisionImage.kt

Java

InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);MLKitVisionImage.java

يتم تمثيل الصورة بكائن Bitmap مع درجات تدوير.

3- معالجة الصورة

مرِّر كائن InputImage المعدّ إلى طريقة process في Segmenter.

Kotlin

Task<SegmentationMask> result = segmenter.process(image)
       .addOnSuccessListener { results ->
           // Task completed successfully
           // ...
       }
       .addOnFailureListener { e ->
           // Task failed with an exception
           // ...
       }

Java

Task<SegmentationMask> result =
        segmenter.process(image)
                .addOnSuccessListener(
                        new OnSuccessListener<SegmentationMask>() {
                            @Override
                            public void onSuccess(SegmentationMask mask) {
                                // Task completed successfully
                                // ...
                            }
                        })
                .addOnFailureListener(
                        new OnFailureListener() {
                            @Override
                            public void onFailure(@NonNull Exception e) {
                                // Task failed with an exception
                                // ...
                            }
                        });

ملاحظة: في حال استخدام واجهة برمجة التطبيقات CameraX، احرص على إغلاق ImageProxy عند الانتهاء من استخدامها، مثلاً من خلال إضافة OnCompleteListener إلى Task التي يتم عرضها من خلال طريقة process. يمكنك الاطّلاع على صف VisionProcessorBase في نموذج البدء السريع للحصول على مثال.

4. الحصول على نتيجة التصنيف إلى شرائح

يمكنك الحصول على نتيجة التصنيف إلى شرائح على النحو التالي:

Kotlin

val mask = segmentationMask.getBuffer()
val maskWidth = segmentationMask.getWidth()
val maskHeight = segmentationMask.getHeight()

for (val y = 0; y < maskHeight; y++) {
  for (val x = 0; x < maskWidth; x++) {
    // Gets the confidence of the (x,y) pixel in the mask being in the foreground.
    val foregroundConfidence = mask.getFloat()
  }
}

Java

ByteBuffer mask = segmentationMask.getBuffer();
int maskWidth = segmentationMask.getWidth();
int maskHeight = segmentationMask.getHeight();

for (int y = 0; y < maskHeight; y++) {
  for (int x = 0; x < maskWidth; x++) {
    // Gets the confidence of the (x,y) pixel in the mask being in the foreground.
    float foregroundConfidence = mask.getFloat();
  }
}

للحصول على مثال كامل حول كيفية استخدام نتائج التصنيف إلى شرائح، يُرجى الاطّلاع على نموذج البدء السريع في أدوات تعلُّم الآلة.

نصائح لتحسين الأداء

تعتمد جودة النتائج على جودة الصورة التي يتم إدخالها:

لكي تحصل أدوات تعلّم الآلة على نتيجة تصنيف دقيقة، يجب ألا يقل حجم الصورة عن 256×256 بكسل.
ويمكن أن يؤثّر التركيز الضعيف في الصورة أيضًا في الدقة. إذا لم تحصل على نتائج مقبولة، اطلب من المستخدم إعادة التقاط الصورة.

إذا أردت استخدام ميزة التصنيف إلى قطاعات أو شرائح في تطبيق في الوقت الفعلي، يجب اتّباع الإرشادات التالية لتحقيق أفضل عدد من اللقطات في الثانية:

استخدام حساب "STREAM_MODE".
ننصحك بالتقاط الصور بدرجة دقة أقل. ومع ذلك، عليك أيضًا مراعاة متطلبات أبعاد الصورة في واجهة برمجة التطبيقات هذه.
ننصحك بتفعيل خيار قناع الحجم الأولي والجمع بين كل منطق تغيير الحجم معًا. على سبيل المثال، بدلاً من السماح لواجهة برمجة التطبيقات بإعادة ضبط حجم القناع لمطابقة حجم صورة الإدخال أولاً ثم إعادة ضبط حجمه مرة أخرى لمطابقة حجم العرض للعرض، ما عليك سوى طلب قناع الحجم الأولي، ودمج هاتين الخطوتين في خطوة واحدة.
إذا كنت تستخدم واجهة برمجة التطبيقات Camera أو camera2، يمكنك التحكُّم في طلبات البيانات لأداة الرصد. في حال توفُّر إطار فيديو جديد أثناء تشغيل أداة الرصد، أفلِت الإطار. يمكنك الاطّلاع على صف VisionProcessorBase في نموذج التطبيق السريع للبدء من أجل الحصول على مثال.
إذا كنت تستخدم واجهة برمجة التطبيقات CameraX، تأكّد من ضبط استراتيجية إعادة ضغط البيانات على قيمتها التلقائية ImageAnalysis.STRATEGY_KEEP_ONLY_LATEST. ويضمن ذلك تسليم صورة واحدة فقط لتحليلها في كل مرة. في حال إنشاء المزيد من الصور عندما تكون أداة التحليل مشغولة، سيتم حذفها تلقائيًا ولن يتم وضعها في قائمة الانتظار للتسليم. بعد إغلاق الصورة التي يتم تحليلها من خلال استدعاء ImageProxy.CLOSE() ، سيتم عرض أحدث صورة تالية.
إذا كنت تستخدم إخراج أداة الرصد لعرض الرسومات على الصورة المُدخَلة، احصل أولاً على النتيجة من أدوات تعلّم الآلة، ثم اعرض الصورة والتراكب في خطوة واحدة. ويتم عرض ذلك على سطح الشاشة مرة واحدة فقط لكل إطار إدخال. يمكنك الاطّلاع على صفَي CameraSourcePreview و GraphicOverlay في نموذج التطبيق السريع للبدء للحصول على مثال.
إذا كنت تستخدم واجهة برمجة تطبيقات Camera2، التقِط الصور بتنسيق ImageFormat.YUV_420_888. إذا كنت تستخدم واجهة برمجة تطبيقات الكاميرا القديمة، التقِط الصور بتنسيق ImageFormat.NV21.

تصنيف الصورة الذاتية باستخدام "حزمة تعلّم الآلة" على نظام التشغيل Android

التجربة الآن

قبل البدء

1- إنشاء مثيل لأداة التقسيم

خيارات أداة التقسيم

وضع الرصد

تفعيل قناع الحجم الأولي

Kotlin

Java

Kotlin

Java

2- تجهيز صورة الإدخال

استخدام media.Image

Kotlin

Java

Kotlin

Java

Kotlin

Java

استخدام معرّف موارد منتظم (URI) للملف

Kotlin

Java

استخدام ByteBuffer أو ByteArray

Kotlin

Java

استخدام Bitmap

Kotlin

Java

3- معالجة الصورة

Kotlin

Java

4. الحصول على نتيجة التصنيف إلى شرائح

Kotlin

Java

نصائح لتحسين الأداء

استخدام `media.Image`

استخدام `ByteBuffer` أو `ByteArray`

استخدام `Bitmap`