توفّر هذه الأدوات حزمة تطوير برامج (SDK) محسَّنة لتصنيف الصور الذاتية.
تكون مواد عرض أداة تقسيم الصور الذاتية مرتبطة بشكلٍ ثابت بتطبيقك في وقت الإصدار. سيؤدي ذلك إلى زيادة حجم تنزيل تطبيقك بمقدار 4.5 ميغابايت تقريبًا، ويمكن أن يختلف وقت استجابة واجهة برمجة التطبيقات من 25 ملي ثانية إلى 65 ملي ثانية حسب حجم صورة الإدخال، وذلك حسب ما تم قياسه على هاتف Pixel 4.
التجربة الآن
- جرّب نموذج التطبيق للاطّلاع على مثال لاستخدام واجهة برمجة التطبيقات هذه.
قبل البدء
- في ملف
build.gradle
على مستوى المشروع، تأكَّد من تضمين مستودع Maven من Google في كل من القسمَينbuildscript
وallprojects
. - أضِف تبعيات مكتبات ML Kit لنظام التشغيل Android إلى ملف Gradle على مستوى التطبيق في الوحدة، والذي يكون عادةً
app/build.gradle
:
dependencies {
implementation 'com.google.mlkit:segmentation-selfie:16.0.0-beta5'
}
1- إنشاء مثيل لأداة التقسيم
خيارات أداة التقسيم
لتقسيم صورة، أنشئ أولاً مثيلاً لـ Segmenter
من خلال تحديد الخيارات التالية.
وضع الرصد
تعمل ميزة "Segmenter
" في وضعَين. واحرص على اختيار النموذج الذي يتوافق مع حالة استخدامك.
STREAM_MODE (default)
تم تصميم هذا الوضع لبث الإطارات من الفيديو أو الكاميرا. في هذا الوضع، سيستفيد القسم من نتائج الإطارات السابقة لعرض نتائج تصنيف أكثر سلاسة.
SINGLE_IMAGE_MODE
تم تصميم هذا الوضع للصور الفردية غير المرتبطة ببعضها. في هذا الوضع، سيعالج المقسِّم كل صورة بشكل مستقل، بدون تجانس الإطارات.
تفعيل قناع الحجم الأولي
تطلب من المقسِّم عرض قناع الحجم الأولي الذي يطابق حجم إخراج النموذج.
عادةً ما يكون حجم القناع الأولي (مثلاً 256x256) أصغر من حجم صورة الإدخال. يُرجى الاتصال بالرمزَين SegmentationMask#getWidth()
وSegmentationMask#getHeight()
لمعرفة حجم القناع عند تفعيل هذا الخيار.
بدون تحديد هذا الخيار، سيعيد التقسيم حجم القناع الأولي ليطابق حجم صورة الإدخال. جرِّب استخدام هذا الخيار إذا كنت تريد تطبيق منطق مخصّص لتغيير الحجم أو عدم الحاجة إلى تغيير الحجم لحالة الاستخدام.
حدِّد خيارات أداة التقسيم:
Kotlin
val options = SelfieSegmenterOptions.Builder() .setDetectorMode(SelfieSegmenterOptions.STREAM_MODE) .enableRawSizeMask() .build()
Java
SelfieSegmenterOptions options = new SelfieSegmenterOptions.Builder() .setDetectorMode(SelfieSegmenterOptions.STREAM_MODE) .enableRawSizeMask() .build();
إنشاء مثيل لـ Segmenter
. مرر الخيارات التي حددتها:
Kotlin
val segmenter = Segmentation.getClient(options)
Java
Segmenter segmenter = Segmentation.getClient(options);
2- تجهيز صورة الإدخال
لتقسيم صورة، يمكنك إنشاء كائن InputImage
من Bitmap
أو media.Image
أو ByteBuffer
أو صفيف بايت أو ملف على الجهاز.
يمكنك إنشاء عنصر InputImage
من مصادر مختلفة، وتم توضيح كلّ منها أدناه.
استخدام media.Image
لإنشاء عنصر InputImage
من عنصر media.Image
، مثلاً عند التقاط صورة من
كاميرا جهاز، مرِّر العنصر media.Image
وتدوير الصورة إلى InputImage.fromMediaImage()
.
إذا كنت تستخدم مكتبة
CameraX، ستحتسب الفئتان OnImageCapturedListener
وImageAnalysis.Analyzer
قيمة التدوير نيابةً عنك.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
إذا كنت لا تستخدم مكتبة كاميرا توفّر لك درجة تدوير الصورة، يمكنك احتسابها من درجة تدوير الجهاز واتجاه أداة استشعار الكاميرا في الجهاز:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
بعد ذلك، مرِّر الكائن media.Image
وقيمة درجة الدوران إلى InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
استخدام معرّف موارد منتظم (URI) للملف
لإنشاء عنصر InputImage
من معرّف الموارد المنتظم (URI) الخاص بالملف، أدخِل سياق التطبيق ومعرّف الموارد المنتظم (URI) للملف إلى
InputImage.fromFilePath()
. ويكون هذا الإجراء مفيدًا إذا كنت تستخدم
هدف ACTION_GET_CONTENT
لتطلب من المستخدم اختيار
صورة من تطبيق معرض الصور.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
استخدام ByteBuffer
أو ByteArray
لإنشاء عنصر InputImage
من ByteBuffer
أو ByteArray
، احسب أولاً درجة تدوير الصورة كما هو موضّح سابقًا لإدخال media.Image
.
بعد ذلك، يمكنك إنشاء الكائن InputImage
باستخدام المخزن المؤقت أو المصفوفة مع ارتفاع الصورة وعرضها وتنسيق ترميز اللون ودرجة التدوير:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
استخدام Bitmap
لإنشاء كائن InputImage
من كائن Bitmap
، يجب تقديم البيان التالي:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
يتم تمثيل الصورة بكائن Bitmap
مع درجات تدوير.
3- معالجة الصورة
مرِّر كائن InputImage
المعدّ إلى طريقة process
في Segmenter
.
Kotlin
Task<SegmentationMask> result = segmenter.process(image) .addOnSuccessListener { results -> // Task completed successfully // ... } .addOnFailureListener { e -> // Task failed with an exception // ... }
Java
Task<SegmentationMask> result = segmenter.process(image) .addOnSuccessListener( new OnSuccessListener<SegmentationMask>() { @Override public void onSuccess(SegmentationMask mask) { // Task completed successfully // ... } }) .addOnFailureListener( new OnFailureListener() { @Override public void onFailure(@NonNull Exception e) { // Task failed with an exception // ... } });
4. الحصول على نتيجة التصنيف إلى شرائح
يمكنك الحصول على نتيجة التصنيف إلى شرائح على النحو التالي:
Kotlin
val mask = segmentationMask.getBuffer() val maskWidth = segmentationMask.getWidth() val maskHeight = segmentationMask.getHeight() for (val y = 0; y < maskHeight; y++) { for (val x = 0; x < maskWidth; x++) { // Gets the confidence of the (x,y) pixel in the mask being in the foreground. val foregroundConfidence = mask.getFloat() } }
Java
ByteBuffer mask = segmentationMask.getBuffer(); int maskWidth = segmentationMask.getWidth(); int maskHeight = segmentationMask.getHeight(); for (int y = 0; y < maskHeight; y++) { for (int x = 0; x < maskWidth; x++) { // Gets the confidence of the (x,y) pixel in the mask being in the foreground. float foregroundConfidence = mask.getFloat(); } }
للحصول على مثال كامل حول كيفية استخدام نتائج التصنيف إلى شرائح، يُرجى الاطّلاع على نموذج البدء السريع في أدوات تعلُّم الآلة.
نصائح لتحسين الأداء
تعتمد جودة النتائج على جودة الصورة التي يتم إدخالها:
- لكي تحصل أدوات تعلّم الآلة على نتيجة تصنيف دقيقة، يجب ألا يقل حجم الصورة عن 256×256 بكسل.
- ويمكن أن يؤثّر التركيز الضعيف في الصورة أيضًا في الدقة. إذا لم تحصل على نتائج مقبولة، اطلب من المستخدم إعادة التقاط الصورة.
إذا أردت استخدام ميزة التصنيف إلى قطاعات أو شرائح في تطبيق في الوقت الفعلي، يجب اتّباع الإرشادات التالية لتحقيق أفضل عدد من اللقطات في الثانية:
- استخدام حساب "
STREAM_MODE
". - ننصحك بالتقاط الصور بدرجة دقة أقل. ومع ذلك، عليك أيضًا مراعاة متطلبات أبعاد الصورة في واجهة برمجة التطبيقات هذه.
- ننصحك بتفعيل خيار قناع الحجم الأولي والجمع بين كل منطق تغيير الحجم معًا. على سبيل المثال، بدلاً من السماح لواجهة برمجة التطبيقات بإعادة ضبط حجم القناع لمطابقة حجم صورة الإدخال أولاً ثم إعادة ضبط حجمه مرة أخرى لمطابقة حجم العرض للعرض، ما عليك سوى طلب قناع الحجم الأولي، ودمج هاتين الخطوتين في خطوة واحدة.
- إذا كنت تستخدم واجهة برمجة التطبيقات
Camera
أوcamera2
، يمكنك التحكُّم في طلبات البيانات لأداة الرصد. في حال توفُّر إطار فيديو جديد أثناء تشغيل أداة الرصد، أفلِت الإطار. يمكنك الاطّلاع على صفVisionProcessorBase
في نموذج التطبيق السريع للبدء من أجل الحصول على مثال. - إذا كنت تستخدم واجهة برمجة التطبيقات
CameraX
، تأكّد من ضبط استراتيجية إعادة ضغط البيانات على قيمتها التلقائيةImageAnalysis.STRATEGY_KEEP_ONLY_LATEST
. ويضمن ذلك تسليم صورة واحدة فقط لتحليلها في كل مرة. في حال إنشاء المزيد من الصور عندما تكون أداة التحليل مشغولة، سيتم حذفها تلقائيًا ولن يتم وضعها في قائمة الانتظار للتسليم. بعد إغلاق الصورة التي يتم تحليلها من خلال استدعاء ImageProxy.CLOSE() ، سيتم عرض أحدث صورة تالية. - إذا كنت تستخدم إخراج أداة الرصد لعرض الرسومات على
الصورة المُدخَلة، احصل أولاً على النتيجة من أدوات تعلّم الآلة، ثم اعرض الصورة
والتراكب في خطوة واحدة. ويتم عرض ذلك على سطح الشاشة مرة واحدة فقط لكل إطار إدخال. يمكنك الاطّلاع على صفَي
CameraSourcePreview
وGraphicOverlay
في نموذج التطبيق السريع للبدء للحصول على مثال. - إذا كنت تستخدم واجهة برمجة تطبيقات Camera2، التقِط الصور بتنسيق
ImageFormat.YUV_420_888
. إذا كنت تستخدم واجهة برمجة تطبيقات الكاميرا القديمة، التقِط الصور بتنسيقImageFormat.NV21
.