يمكنك استخدام هذه الأدوات لرصد الوجوه في الصور والفيديوهات التي تشبه الصور الذاتية.
واجهة برمجة التطبيقات الخاصة برصد شبكة الوجه | |
---|---|
اسم حزمة تطوير البرامج (SDK) | face-mesh-detection |
التنفيذ | يرتبط الرمز البرمجي ومواد العرض بشكلٍ ثابت بتطبيقك في وقت الإصدار. |
تأثير حجم التطبيق | 6.4 ميغابايت تقريبًا |
عروض أداء | معلومات في الوقت الفعلي على معظم الأجهزة |
التجربة الآن
- جرّب نموذج التطبيق للاطّلاع على مثال لاستخدام واجهة برمجة التطبيقات هذه.
قبل البدء
في ملف
build.gradle
على مستوى المشروع، تأكَّد من تضمين مستودع Maven من Google في كل من قسمَي Buildscript وallprojects.أضِف البيانات الاعتمادية الخاصة بمكتبة التعرّف على الشبكات المتداخلة في ML Kit إلى ملف Gradle على مستوى التطبيق في الوحدة، والذي يكون عادةً
app/build.gradle
:dependencies { // ... implementation 'com.google.mlkit:face-mesh-detection:16.0.0-beta1' }
إرشادات إدخال الصورة
يجب التقاط الصور على بُعد حوالي مترين (7 أقدام) من كاميرا الجهاز، بحيث تكون الوجوه كبيرة بما يكفي للتعرف على شبكات الوجه على النحو الأمثل. بشكل عام، كلما كان الوجه أكبر، كان التعرف على شبكة الوجه أفضل.
يجب أن يكون الوجه مواجهة للكاميرا مع إظهار نصف الوجه على الأقل. فقد ينتج عن وضع أي جسم كبير بين الوجه والكاميرا انخفاض الدقة.
إذا كنت تريد اكتشاف الوجوه في تطبيق الوقت الفعلي، يجب أيضًا مراعاة الأبعاد العامة للصورة المدخلة. يمكن معالجة الصور الأصغر حجمًا بشكل أسرع، لذلك يؤدي التقاط الصور بدرجات دقة أقل إلى تقليل وقت الاستجابة. ومع ذلك، يُرجى مراعاة متطلبات الدقة المذكورة أعلاه والتأكّد من أنّ وجه الشخص يحتل أكبر قدر ممكن من الصورة.
ضبط أداة رصد شبكة الوجه
إذا كنت تريد تغيير أي من الإعدادات التلقائية لأداة رصد شبكات الوجه، عليك تحديد هذه الإعدادات باستخدام الكائن FaceMeshDetectorOptions. يمكنك تغيير الإعدادات التالية:
setUseCase
BOUNDING_BOX_ONLY
: يتم توفير مربّع حدود للشبكة المتداخلة التي تم رصدها فقط. هذا الجهاز هو أسرع أداة كشف للوجه، ولكن لديه قيود على النطاق(يجب أن تكون الوجوه على بُعد حوالى مترين أو حوالى 7 أقدام من الكاميرا).FACE_MESH
(الخيار التلقائي): يتم توفير مربّع حدود ومعلومات إضافية حول شبكة الوجه (معلومات حول المثلّثات والنقاط الثلاثية الأبعاد التي يبلغ عددها 468). مقارنةً بحالة الاستخدامBOUNDING_BOX_ONLY
، يزيد وقت الاستجابة بنسبة %15 تقريبًا، وفق ما تم قياسه في هاتف Pixel 3.
مثال:
Kotlin
val defaultDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.DEFAULT_OPTIONS) val boundingBoxDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.Builder() .setUseCase(UseCase.BOUNDING_BOX_ONLY) .build() )
Java
FaceMeshDetector defaultDetector = FaceMeshDetection.getClient( FaceMeshDetectorOptions.DEFAULT_OPTIONS); FaceMeshDetector boundingBoxDetector = FaceMeshDetection.getClient( new FaceMeshDetectorOptions.Builder() .setUseCase(UseCase.BOUNDING_BOX_ONLY) .build() );
تجهيز صورة الإدخال
لاكتشاف الوجوه في صورة ما، يمكنك إنشاء كائن InputImage
إما من
Bitmap
أو media.Image
أو ByteBuffer
أو مصفوفة بايت أو من ملف على الجهاز.
بعد ذلك، مرِّر الكائن InputImage
إلى طريقة process
في FaceDetector
.
بالنسبة إلى ميزة "التعرّف على تداخل الوجه"، يجب استخدام صورة بأبعاد لا تقل عن 480×360 بكسل. إذا كنت ترصد الوجوه في الوقت الفعلي، يمكن أن يساعد التقاط لقطات بدرجة الدقة هذه كحد أدنى في تقليل وقت الاستجابة.
يمكنك إنشاء عنصر InputImage
من مصادر مختلفة، وتم توضيح كلّ منها أدناه.
استخدام media.Image
لإنشاء عنصر InputImage
من عنصر media.Image
، مثلاً عند التقاط صورة من
كاميرا جهاز، مرِّر العنصر media.Image
وتدوير الصورة إلى InputImage.fromMediaImage()
.
إذا كنت تستخدم مكتبة
CameraX، ستحتسب الفئتان OnImageCapturedListener
وImageAnalysis.Analyzer
قيمة التدوير نيابةً عنك.
Kotlin
private class YourImageAnalyzer : ImageAnalysis.Analyzer { override fun analyze(imageProxy: ImageProxy) { val mediaImage = imageProxy.image if (mediaImage != null) { val image = InputImage.fromMediaImage(mediaImage, imageProxy.imageInfo.rotationDegrees) // Pass image to an ML Kit Vision API // ... } } }
Java
private class YourAnalyzer implements ImageAnalysis.Analyzer { @Override public void analyze(ImageProxy imageProxy) { Image mediaImage = imageProxy.getImage(); if (mediaImage != null) { InputImage image = InputImage.fromMediaImage(mediaImage, imageProxy.getImageInfo().getRotationDegrees()); // Pass image to an ML Kit Vision API // ... } } }
إذا كنت لا تستخدم مكتبة كاميرا توفّر لك درجة تدوير الصورة، يمكنك احتسابها من درجة تدوير الجهاز واتجاه أداة استشعار الكاميرا في الجهاز:
Kotlin
private val ORIENTATIONS = SparseIntArray() init { ORIENTATIONS.append(Surface.ROTATION_0, 0) ORIENTATIONS.append(Surface.ROTATION_90, 90) ORIENTATIONS.append(Surface.ROTATION_180, 180) ORIENTATIONS.append(Surface.ROTATION_270, 270) } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) @Throws(CameraAccessException::class) private fun getRotationCompensation(cameraId: String, activity: Activity, isFrontFacing: Boolean): Int { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. val deviceRotation = activity.windowManager.defaultDisplay.rotation var rotationCompensation = ORIENTATIONS.get(deviceRotation) // Get the device's sensor orientation. val cameraManager = activity.getSystemService(CAMERA_SERVICE) as CameraManager val sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION)!! if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360 } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360 } return rotationCompensation }
Java
private static final SparseIntArray ORIENTATIONS = new SparseIntArray(); static { ORIENTATIONS.append(Surface.ROTATION_0, 0); ORIENTATIONS.append(Surface.ROTATION_90, 90); ORIENTATIONS.append(Surface.ROTATION_180, 180); ORIENTATIONS.append(Surface.ROTATION_270, 270); } /** * Get the angle by which an image must be rotated given the device's current * orientation. */ @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP) private int getRotationCompensation(String cameraId, Activity activity, boolean isFrontFacing) throws CameraAccessException { // Get the device's current rotation relative to its "native" orientation. // Then, from the ORIENTATIONS table, look up the angle the image must be // rotated to compensate for the device's rotation. int deviceRotation = activity.getWindowManager().getDefaultDisplay().getRotation(); int rotationCompensation = ORIENTATIONS.get(deviceRotation); // Get the device's sensor orientation. CameraManager cameraManager = (CameraManager) activity.getSystemService(CAMERA_SERVICE); int sensorOrientation = cameraManager .getCameraCharacteristics(cameraId) .get(CameraCharacteristics.SENSOR_ORIENTATION); if (isFrontFacing) { rotationCompensation = (sensorOrientation + rotationCompensation) % 360; } else { // back-facing rotationCompensation = (sensorOrientation - rotationCompensation + 360) % 360; } return rotationCompensation; }
بعد ذلك، مرِّر الكائن media.Image
وقيمة درجة الدوران إلى InputImage.fromMediaImage()
:
Kotlin
val image = InputImage.fromMediaImage(mediaImage, rotation)
Java
InputImage image = InputImage.fromMediaImage(mediaImage, rotation);
استخدام معرّف موارد منتظم (URI) للملف
لإنشاء عنصر InputImage
من معرّف الموارد المنتظم (URI) الخاص بالملف، أدخِل سياق التطبيق ومعرّف الموارد المنتظم (URI) للملف إلى
InputImage.fromFilePath()
. ويكون هذا الإجراء مفيدًا إذا كنت تستخدم
هدف ACTION_GET_CONTENT
لتطلب من المستخدم اختيار
صورة من تطبيق معرض الصور.
Kotlin
val image: InputImage try { image = InputImage.fromFilePath(context, uri) } catch (e: IOException) { e.printStackTrace() }
Java
InputImage image; try { image = InputImage.fromFilePath(context, uri); } catch (IOException e) { e.printStackTrace(); }
استخدام ByteBuffer
أو ByteArray
لإنشاء عنصر InputImage
من ByteBuffer
أو ByteArray
، احسب أولاً درجة تدوير الصورة كما هو موضّح سابقًا لإدخال media.Image
.
بعد ذلك، يمكنك إنشاء الكائن InputImage
باستخدام المخزن المؤقت أو المصفوفة مع ارتفاع الصورة وعرضها وتنسيق ترميز اللون ودرجة التدوير:
Kotlin
val image = InputImage.fromByteBuffer( byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ) // Or: val image = InputImage.fromByteArray( byteArray, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 )
Java
InputImage image = InputImage.fromByteBuffer(byteBuffer, /* image width */ 480, /* image height */ 360, rotationDegrees, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 ); // Or: InputImage image = InputImage.fromByteArray( byteArray, /* image width */480, /* image height */360, rotation, InputImage.IMAGE_FORMAT_NV21 // or IMAGE_FORMAT_YV12 );
استخدام Bitmap
لإنشاء كائن InputImage
من كائن Bitmap
، يجب تقديم البيان التالي:
Kotlin
val image = InputImage.fromBitmap(bitmap, 0)
Java
InputImage image = InputImage.fromBitmap(bitmap, rotationDegree);
يتم تمثيل الصورة بكائن Bitmap
مع درجات تدوير.
معالجة الصورة
تمرير الصورة إلى طريقة process
:
Kotlin
val result = detector.process(image) .addOnSuccessListener { result -> // Task completed successfully // … } .addOnFailureListener { e -> // Task failed with an exception // … }
Java
Task<List<FaceMesh>> result = detector.process(image) .addOnSuccessListener( new OnSuccessListener<List<FaceMesh>>() { @Override public void onSuccess(List<FaceMesh> result) { // Task completed successfully // … } }) .addOnFailureListener( new OnFailureListener() { @Override Public void onFailure(Exception e) { // Task failed with an exception // … } });
الحصول على معلومات حول شبكة الوجه التي تم رصدها
إذا تم رصد أي وجه في الصورة، يتم إرسال قائمة عناصر FaceMesh
إلى أداة معالجة النجاح. تمثّل كل سمة FaceMesh
وجهًا تم رصده في الصورة. بالنسبة إلى كل شبكة وجه متداخلة، يمكنك الحصول على إحداثياتها في الصورة المدخلة، بالإضافة إلى أي معلومات أخرى قمت بتكوين أداة كشف تداخل الوجه للعثور عليها.
Kotlin
for (faceMesh in faceMeshs) { val bounds: Rect = faceMesh.boundingBox() // Gets all points val faceMeshpoints = faceMesh.allPoints for (faceMeshpoint in faceMeshpoints) { val index: Int = faceMeshpoints.index() val position = faceMeshpoint.position } // Gets triangle info val triangles: List<Triangle<FaceMeshPoint>> = faceMesh.allTriangles for (triangle in triangles) { // 3 Points connecting to each other and representing a triangle area. val connectedPoints = triangle.allPoints() } }
Java
for (FaceMesh faceMesh : faceMeshs) { Rect bounds = faceMesh.getBoundingBox(); // Gets all points List<FaceMeshPoint> faceMeshpoints = faceMesh.getAllPoints(); for (FaceMeshPoint faceMeshpoint : faceMeshpoints) { int index = faceMeshpoints.getIndex(); PointF3D position = faceMeshpoint.getPosition(); } // Gets triangle info List<Triangle<FaceMeshPoint>> triangles = faceMesh.getAllTriangles(); for (Triangle<FaceMeshPoint> triangle : triangles) { // 3 Points connecting to each other and representing a triangle area. List<FaceMeshPoint> connectedPoints = triangle.getAllPoints(); } }