מדריכים ספציפיים לפלטפורמה
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
ממשק ה-API של סמנטיקה של סצנות מאפשר למפתחים להבין את הסצנה שמקיפה את המשתמש, וזה נדרש כדי ליצור חוויות רבות באיכות גבוהה של מציאות רבודה (AR). ממשק ה-API של סמנטיקה של סצנות מבוסס על מודל ML ומספק מידע סמנטי בזמן אמת, שמשלים את המידע הגיאומטרי הקיים ב-ARCore.
בהינתן תמונה של סצנה בחוץ, ה-API מחזיר תווית לכל פיקסל מתוך קבוצה של מחלקות סמנטיות שימושיות, כמו שמיים, בניין, עץ, כביש, מדרכה, רכב, אדם ועוד. בנוסף לתוויות של פיקסלים, Scene Semantics API מציע גם ערכי מובהקות לכל תווית של פיקסל, ודרך קלה לשאילתת שכיחות של תווית מסוימת בסצנה חיצונית.
משמאל לימין, דוגמאות של תמונת קלט, התמונה הסמנטית של תוויות הפיקסלים ותמונת הביטחון התואמת:
באמצעות Scene Semantics API, מפתחים יכולים לזהות רכיבים ספציפיים בסצנה, כמו כבישים ומדרכות, כדי לעזור למשתמש להתמצא בעיר לא מוכרת, אנשים וכלי רכב כדי להציג הסתרה של אובייקטים דינמיים, שמיים כדי ליצור שקיעה בכל שעה ביום, ובניינים כדי לשנות את המראה שלהם ולמקם אובייקטים וירטואליים.
תוויות סמנטיות ואיכות
Scene Semantics API מספק מספר תוויות, שלכל אחת מהן יש איכות או מהימנות תואמת. באופן כללי, מודל ה-ML מצליח יותר לחזות סיווגים של אובייקטים או משטחים גדולים ונפוצים יותר מאשר סיווגים של אובייקטים או משטחים קטנים או נדירים יותר. אפשר לקבץ את הכיתות לרמות האיכות הבאות, מדורגות מהגבוהה לנמוכה:
| רמות האיכות של תוויות סמנטיות | |
|---|---|
| הרכיבים העיקריים בסצנה |
|
| פרטים חשובים בסצנה |
|
| פרטים קטנים בסצנה |
|
אין לי מכשיר תואם
רשימת המכשירים הנתמכים ב-Scene Semantics API זהה לרשימת המכשירים הנתמכים ב-Depth API. בדף מכשירים נתמכים ב-ARCore מופיעה רשימה עדכנית של מכשירים שתומכים בשני ממשקי ה-API.
תרחישים נתמכים
ממשק Scene Semantics API מיועד לשימוש בתרחישים הבאים:
סצנות בחוץ: תומך רק בסצנות בחוץ ולא מיועד לתרחישי שימוש בתוך מבנים.
תצוגה לאורך: צריך להשתמש בה רק במצב ברירת המחדל של כיוון המכשיר (כלומר, לאורך). אין ערובה לאיכות של תוויות סמנטיות במצב לרוחב.