فهم بيئة المستخدم من خلال Scene Semantics API

أدلة خاصة بالنظام الأساسي

المشاهد الدلالية للدلالة

تتيح واجهة برمجة تطبيقات Scene Semantics لمطوّري البرامج فهم المنظر المحيط بالمستخدم، وهو أمر ضروري للعديد من تجارب الواقع المعزّز العالية الجودة. استنادًا إلى نموذج تعلُّم الآلة، توفّر واجهة برمجة التطبيقات Scene Semantics معلومات دلالية في الوقت الفعلي، وهي مكمّلة للمعلومات الهندسية الحالية في ARCore.

نظرًا لصورة مشهد في الهواء الطلق، تعرض واجهة برمجة التطبيقات تصنيفًا لكل وحدة بكسل على مستوى مجموعة من الفئات الدلالية المفيدة، مثل السماء والمباني والشجرة والطريق والرصيف والمركبة والشخص وغير ذلك. بالإضافة إلى تصنيفات البكسل، توفّر واجهة برمجة التطبيقات Scene Semantics أيضًا قيم ثقة لكل تصنيف بكسل، فضلاً عن طريقة سهلة الاستخدام للبحث في مدى رواج تصنيف معيّن في مشهد خارجي.

من اليسار إلى اليمين، أمثلة على صورة الإدخال والصورة الدلالية لتصنيفات البكسل وصورة الثقة المقابلة لها:

مثال على الصور الدلالية

باستخدام Scene Semantics API، يمكن لمطوّري البرامج تحديد مكوّنات منظور معيّنة، مثل الطرق والأرصفة، وذلك للمساعدة في توجيه المستخدم من خلال مدينة وأشخاص ومركبات غير مألوفة لعرض تراكم في الخلفية بالكائنات الديناميكية، والتعرّف على مظهر السماء في أي وقت من اليوم، ومبانٍ لتعديل مظهرها والعناصر الافتراضية الثابتة.

التصنيفات والدلالية الدلالية

توفّر واجهة برمجة التطبيقات Scene Semantics تصنيفات متعددة، لكل منها جودة أو موثوقية مطابقة. بشكل عام، يمكن لنموذج تعلُّم الآلة توقّع فئات العناصر/الأسطح الأكبر حجمًا وأكثر شيوعًا من فئات العناصر/الأسطح الأصغر أو الأكثر نُدرة. يمكن تجميع الصفوف في فئات الجودة التالية، مرتبة من الأعلى إلى الأقل:

مستويات جودة التصنيف الدلالي
العناصر الرئيسية للمشهد
  • السماء
  • مبنى
  • شجرة
  • طريق
  • مركَبة
تفاصيل المشهد الرئيسي
  • رصيف
  • تضاريس
  • بنية
  • ماء
تفاصيل المنظّم الثانوي
  • كائن
  • شخص

توافق الجهاز

تشارك واجهة برمجة تطبيقات Scene Semantics القائمة نفسها للأجهزة المتوافقة مع Depth API. يُرجى الرجوع إلى صفحة الأجهزة المتوافقة مع ARCore للاطّلاع على قائمة محدّثة للأجهزة التي تتيح استخدام واجهتَي برمجة التطبيقات.

حالات الاستخدام المتوافقة

تم تصميم واجهة Scene Semantics لاستخدامها في السيناريوهات التالية:

  1. مشاهِد في الهواء الطلق: يمكن استخدام هذه الإطارات في الأماكن الخارجية فقط، وهي غير مُخصَّصة لحالات الاستخدام في الأماكن المغلقة.

  2. الاتجاه العمودي: يجب عدم استخدامه إلا في وضع الاتجاه التلقائي للجهاز (أي الوضع العمودي). لا يمكن ضمان جودة التصنيفات الدلالية للوضع الأفقي.

  3. Android: واجهة برمجة تطبيقات Scene Semantics متاحة حاليًا على أجهزة Android فقط.