הבינו את סביבת המשתמש באמצעות ה-Scene Semantics API

מדריכים ספציפיים לפלטפורמה

סמנטיקה של סצינה

Sky Semantics API מאפשר למפתחים להבין את הסצנה סביב המשתמש, שדרושה להרבה חוויות AR איכותיות. Sky Semantics API, שמבוסס על מודל למידת מכונה, מספק מידע סמנטי בזמן אמת שמשלים את המידע הגאומטרי הקיים ב-ARCore.

בהינתן תמונה של סצנה בחוץ, ה-API מחזיר תווית לכל פיקסל בקבוצה של סיווגים סמנטיים שימושיים, כגון שמיים, בניין, עץ, כביש, מדרכה, כלי רכב, אדם ועוד. בנוסף לתוויות פיקסל, ממשק ה-API 'סמנטיקה של סצינה' מציע גם ערכי מהימנות לכל תווית של פיקסל ודרך קלה לשימוש לשליחת שאילתות לגבי השכיחות של תווית נתונה בסצנה חיצונית.

משמאל לימין דוגמאות של תמונת קלט, התמונה הסמנטית של תוויות הפיקסלים ותמונת הסמך המתאימה:

דוגמה לתמונות סמנטיות

באמצעות ה-API Scemantics של הסצנה, מפתחים יכולים לזהות רכיבים ספציפיים בסביבה, כמו כבישים ומדרכות, כדי להדריך משתמש בעיר לא מוכרת, אנשים וכלי רכב ולהציג חסימות באובייקטים דינמיים, בשמים כדי ליצור שקיעה בכל שעה ביום ומבנים לשנות את המראה שלהם ולעגן אובייקטים וירטואליים.

תוויות סמנטיות ואיכות

Sky Semantics API כולל כמה תוויות, שלכל אחת מהן יש איכות או אמינות מתאימות. באופן כללי, מודל למידת המכונה מסוגל לחזות טוב יותר סוגים של אובייקטים/שטחים גדולים ונפוצים יותר מאשר סוגים של אובייקטים/משטחים קטנים או נדירים יותר. ניתן לקבץ את הכיתות לפי רמות האיכות הבאות, מהגבוה לנמוך:

רמות איכות של תוויות סמנטיות
רכיבי הסצנה הראשיים
  • שמיים
  • מבנה
  • עץ
  • כביש
  • כלי רכב
פרטים על סצנה ראשית
  • מדרכה
  • פני השטח
  • מבנה
  • מים
פרטי סצנה משנית
  • אובייקט
  • אדם

אין לי מכשיר תואם

ה-Scemantics API חולק את אותה רשימה של מכשירים נתמכים כמו Depth API. רשימה עדכנית של מכשירים שתומכים בשני ממשקי ה-API זמינה בדף מכשירים הנתמכים על ידי ARCore.

תרחישים נתמכים

Sky Semantics API תוכנן לשימוש בתרחישים הבאים:

  1. תמונות חוץ: תומכת בסצנות חוץ בלבד, ולא בתרחישים פנימיים לדוגמה.

  2. כיוון לאורך: יש להשתמש בו רק במצב הכיוון המוגדר כברירת מחדל במכשיר (כלומר לאורך). איכות התוויות הסמנטיות אינה מובטחת בפריסה לרוחב.