فهم بيئة المستخدم من خلال واجهة برمجة تطبيقات Scene Semantics

الأدلة الخاصة بالمنصات

دلالات المشهد

تتيح Scene Semantics API للمطوّرين فهم المشهد المحيط بالمستخدم، وهو أمر ضروري للعديد من تجارب الواقع المعزّز العالية الجودة. تستند Scene Semantics API إلى نموذج تعلُّم آلي، وتوفّر معلومات دلالية في الوقت الفعلي، ما يكمّل المعلومات الهندسية الحالية في ARCore.

عند توفير صورة لمشهد خارجي، تعرض واجهة برمجة التطبيقات تصنيفًا لكل بكسل ضمن مجموعة من الفئات الدلالية المفيدة، مثل السماء والمبنى والشجرة والطريق والرصيف والمركبة والشخص وغير ذلك. بالإضافة إلى تصنيفات البكسل، توفّر Scene Semantics API أيضًا قيم الثقة لكل تصنيف بكسل وطريقة سهلة الاستخدام للاستعلام عن مدى انتشار تصنيف معيّن في مشهد خارجي.

من اليمين إلى اليسار، أمثلة على صورة الإدخال والصورة الدلالية لتصنيفات البكسل وصورة الثقة المقابلة:

مثال على الصور الدلالية

باستخدام Scene Semantics API، يمكن للمطوّرين تحديد مكوّنات مشهد معيّنة، مثل الطرق والأرصفة لمساعدة المستخدم في التجوّل في مدينة غير مألوفة، والأشخاص والمركبات لعرض عمليات الحجب على العناصر الديناميكية، والسماء لإنشاء غروب الشمس في أي وقت من اليوم، والمباني لتعديل مظهرها وتثبيت العناصر الافتراضية.

التصنيفات الدلالية والجودة

توفّر Scene Semantics API تصنيفات متعدّدة، لكل منها جودة أو موثوقية مقابلة. بوجهٍ عام، يكون نموذج التعلُّم الآلي أفضل في توقّع فئات العناصر/الأسطح الأكبر حجمًا والأكثر شيوعًا من فئات العناصر/الأسطح الأصغر حجمًا أو الأقل شيوعًا. يمكن تجميع الفئات في مستويات الجودة التالية، مرتّبة من الأعلى إلى الأدنى:

مستويات جودة التصنيفات الدلالية
مكوّنات المشهد الرئيسية
  • السماء
  • مبنى
  • شجرة
  • طريق
  • مركَبة
تفاصيل المشهد الرئيسية
  • رصيف
  • تضاريس
  • هيكل
  • ماء
تفاصيل المشهد الثانوية
  • عنصر
  • شخص

توافق الجهاز

تشارك Scene Semantics API قائمة الأجهزة المتوافقة نفسها مع Depth API. يُرجى الرجوع إلى صفحة الأجهزة المتوافقة مع ARCore للحصول على قائمة حديثة بالأجهزة التي تتوافق مع واجهتَي برمجة التطبيقات.

حالات الاستخدام المتوافقة

تم تصميم Scene Semantics API لاستخدامها في الحالات التالية:

  1. المشاهد الخارجية: لا تتوافق إلا مع المشاهد الخارجية ولا يُقصد استخدامها في حالات الاستخدام الداخلية.

  2. الوضع العمودي: يجب استخدامها في وضع الاتجاه التلقائي للجهاز فقط (أي الوضع العمودي). لا نضمن جودة التصنيفات الدلالية في الوضع الأفقي.