מדריכים ספציפיים לפלטפורמה
Android (Kotlin/Java)
Android NDK (C)
Unity (AR Foundation)
Unreal Engine
כדי ליצור חוויות מציאות רבודה (AR) מציאותיות, חשוב מאוד להקפיד על התאורה. כשחסר צל לאובייקט וירטואלי או כשהחומר שלו מבריק ולא משקף את המרחב שמסביב, המשתמשים יכולים להרגיש שהאובייקט לא משתלב בסביבה, גם אם הם לא יכולים להסביר למה. הסיבה לכך היא שבני אדם קולטים באופן לא מודע רמזים לגבי האופן שבו האובייקטים מוארים בסביבה שלהם. Lighting Estimation API מנתח תמונות שסופקו כדי לזהות רמזים כאלה, ומספק מידע מפורט על התאורה בסצנה. אחר כך תוכלו להשתמש במידע הזה כשאתם מעבדים אובייקטים וירטואליים כדי להאיר אותם באותם תנאים של הסצנה שבה הם מוצבים, וכך לשמור על המשתמשים ממוקדים ומעורבים.
סימנים לתאורה
Lighting Estimation API מספק נתונים מפורטים שמאפשרים לחקות רמזים שונים של תאורה כשמעבדים אובייקטים וירטואליים. הרמזים האלה הם צללים, תאורה בסביבה, הצללה, הדגשות ספקולריות והשתקפויות.
אזורים כהים
לרוב הצללים הם כיווניים, והם מאפשרים לצופים להבין מאיפה מגיעים מקורות האור.
אור מהסביבה
תאורה סביבתית היא תאורה מפוזרת כללית שמגיעה מהסביבה, והיא מאפשרת לראות הכול.
הצללה
ההצללה היא עוצמת האור. לדוגמה, לחלקים שונים של אותו אובייקט יכולות להיות רמות הצללה שונות באותו סצנה, בהתאם לזווית ביחס לצופה ולקרבה שלו למקור אור.
הדגשות ספקולריות
ההדגשות המבריקות הן החלקים המבריקים של משטחים שמחזירים את האור ממקור אור ישירות. ההדגשות באובייקט משתנות בהתאם למיקום הצופה בסצנה.
רגעים מהחיים
האור מוחזר ממשטחים בצורה שונה, בהתאם לתכונות של המשטח – האם הוא מבריק (מחזיר אור) או מפוזר (לא מחזיר אור). לדוגמה, כדור מתכתי יהיה מבריק מאוד וישקף את הסביבה שלו, בעוד שכדור אחר שנצבע באפור מט עמום יהיה דיפוזי. לרוב האובייקטים בעולם האמיתי יש שילוב של המאפיינים האלה – למשל כדור באולינג שרוט או כרטיס אשראי משומש.
גם משטחים מחזירי אור מקבלים צבעים מהסביבה. הצביעה של אובייקט יכולה להיות מושפעת ישירות מהצביעה של הסביבה שלו. לדוגמה, כדור לבן בחדר כחול יקבל גוון כחלחל.
מצב HDR סביבתי
המצבים האלה מורכבים מממשקי API נפרדים שמאפשרים הערכה מפורטת ומציאותית של תאורה מכיוונים שונים, צללים, הדגשות מבריקות והשתקפויות.
מצב HDR סביבתי משתמש בלמידת מכונה כדי לנתח את תמונות המצלמה בזמן אמת ולסנתז תאורה סביבתית, כדי לתמוך בעיבוד ריאליסטי של אובייקטים וירטואליים.
מצב הערכת התאורה הזה מספק:
אור כיווני ראשי. מייצג את מקור האור הראשי. אפשר להשתמש בהם כדי להטיל צללים.
Ambient spherical harmonics. מייצג את האנרגיה שנותרה של האור הסביבתי בסצנה.
מפת קוביות HDR. אפשר להשתמש בה כדי לעבד השתקפויות באובייקטים מתכתיים מבריקים.
אפשר להשתמש בממשקי ה-API האלה בשילובים שונים, אבל הם מיועדים לשימוש משותף כדי ליצור את האפקט הכי מציאותי.
Main directional light
ה-API הראשי של אור כיווני מחשב את הכיוון והעוצמה של מקור האור הראשי בסצנה. המידע הזה מאפשר לאובייקטים וירטואליים בסצנה להציג אזורים בהירים מבריקים במיקום סביר, ולהטיל צל בכיוון שתואם לאובייקטים אמיתיים אחרים שגלויים.
כדי להבין איך זה עובד, נסתכל על שתי תמונות של אותו טיל וירטואלי. בתמונה שמימין, יש צל מתחת לטיל אבל הכיוון שלו לא תואם לצללים האחרים בסצנה. בטיל שמשמאל, הצל מצביע לכיוון הנכון. זהו הבדל קטן אבל חשוב, והוא מעגן את הרקטה בסצנה כי הכיוון והעוצמה של הצל תואמים יותר לצללים אחרים בסצנה.
כשהאובייקט המואר או מקור האור הראשי נמצאים בתנועה, ההדגשה המבריקה על האובייקט משנה את המיקום שלה בזמן אמת ביחס למקור האור.
גם הצללים הכיווניים משנים את האורך והכיוון שלהם בהתאם למיקום של מקור האור הראשי, בדיוק כמו בעולם האמיתי. כדי להמחיש את ההשפעה הזו, נתבונן בשני בובות ראווה, אחת וירטואלית והשנייה אמיתית. הבובה בצד שמאל היא הבובה הווירטואלית.
הרמוניות ספריות של סאונד אמביינט
בנוסף לאנרגיית האור באור הכיווני הראשי, ARCore מספק הרמוניות ספריות שמייצגות את תאורת הסביבה הכוללת שמגיעה מכל הכיוונים בסצנה. אפשר להשתמש במידע הזה במהלך הרינדור כדי להוסיף רמזים עדינים שמדגישים את ההגדרה של אובייקטים וירטואליים.
נתבונן בשתי התמונות האלה של אותו דגם של רקטה. הרקטה בצד שמאל עוברת רינדור באמצעות מידע על הערכת התאורה שזוהה על ידי ה-API הראשי של אור כיווני. הטיל בצד ימין עובר רינדור באמצעות מידע שזוהה על ידי ה-API של האור הראשי וגם על ידי ה-API של ההרמוניות הספריות של האור הסביבתי. הטיל השני מוגדר בצורה חזותית ברורה יותר, והוא משתלב בצורה חלקה יותר בסצנה.
HDR cubemap
אפשר להשתמש במפת קוביות HDR כדי לעבד השתקפויות ריאליסטיות על אובייקטים וירטואליים עם רמת ברק בינונית עד גבוהה, כמו משטחי מתכת מבריקים. ה-cubemap משפיע גם על ההצללה והמראה של האובייקטים. לדוגמה, החומר של אובייקט מבריק שמוקף בסביבה כחולה ישקף גוונים כחולים. חישוב של מפת קובייה ב-HDR דורש כמות קטנה של חישוב נוסף במעבד.
השימוש ב-HDR cubemap תלוי באופן שבו אובייקט משקף את הסביבה שלו. מכיוון שהטיל הווירטואלי עשוי ממתכת, יש לו רכיב ספקולרי חזק שמשקף ישירות את הסביבה שמסביבו. לכן, הוא נהנה ממיפוי קובייה. לעומת זאת, לאובייקט וירטואלי עם חומר אפור עמום ובלתי מבריק אין רכיב השתקפות בכלל. הצבע שלו תלוי בעיקר ברכיב המפוזר, ולא ייהנה ממפת קובייה.
כל שלושת ממשקי ה-API של HDR סביבתי שימשו לעיבוד התמונה של הרקטה שלמטה. מפת קוביות HDR מאפשרת להציג רמזים רפלקטיביים ולהדגיש את האובייקט כך שהוא משתלב באופן מלא בסצנה.
כאן אפשר לראות את אותו מודל של רקטה בסביבות עם תאורה שונה. כל הסצנות האלה עברו רינדור באמצעות מידע משלושת ממשקי ה-API, עם הצללות מכיוונים שונים.
מצב עוצמת תאורה סביבתית
מצב עוצמת האור הסביבתי קובע את העוצמה הממוצעת של הפיקסלים ואת ערכי תיקון הצבע של תמונה נתונה. זו הגדרה גסה שמיועדת לתרחישי שימוש שבהם תאורה מדויקת היא לא קריטית, כמו אובייקטים עם תאורה מובנית.
עוצמת הפיקסל
המאפיין הזה מתעד את עוצמת הפיקסלים הממוצעת של התאורה בסצנה. אפשר להחיל את התאורה הזו על אובייקט וירטואלי שלם.
צבע
מזהה את איזון הלבן לכל פריים בנפרד. לאחר מכן אפשר לבצע תיקון צבע של אובייקט וירטואלי כדי שהוא ישתלב בצורה חלקה יותר בצבעים הכלליים של הסצנה.
בדיקות של הסביבה
חיישני סביבה מארגנים תצוגות מצלמה של 360 מעלות במרקמי סביבה כמו מפות קובייה. אחר כך אפשר להשתמש במרקמים האלה כדי להאיר באופן מציאותי אובייקטים וירטואליים, כמו כדור מתכת וירטואלי שמשקף את החדר שבו הוא נמצא.