מדריכים ספציפיים לפלטפורמה
Android (Kotlin/Java)
Android NDK (C)
Unity (קרן AR)
מנוע Unreal
כדי ליצור חוויות AR מציאותיות, חשוב מאוד לוודא שהתאורה נכונה. כאשר לאובייקט וירטואלי חסר צל או שיש בו חומר נוצץ שאינו משקף את הסביבה, המשתמשים יכולים להבין שהאובייקט לא מתאים בדיוק, גם אם הם לא יכולים להסביר מדוע. הסיבה לכך היא שבני אדם קולטים רמזים באופן לא מודע לאופן שבו חפצים מוארים בסביבה שלהם. Lighting Estimation API מנתח תמונות נתונות לרמזים כאלה, ומספק מידע מפורט על התאורה בסצנה. לאחר מכן, תוכלו להשתמש במידע הזה כדי לעבד אובייקטים וירטואליים ולהדליק אותם באותם תנאים כמו הסצנה שבה הם ממוקמים, וכך המשתמשים יישארו מחוברים לאינטרנט.
סימנים לתאורה
ה-Lighting Estimation API מספק נתונים מפורטים שמאפשרים לחקות רמזים שונים של תאורה כשמעבדים אובייקטים וירטואליים. סימנים אלה הם צללים, אור מהסביבה, הצללה, אזורים בהירים המבוססים על ספקולציות והשתקפויות.
אזורים כהים
האזורים הכהים הם בדרך כלל כיווניים, ומספרים לצופים מהיכן מגיעים מקורות האור.
אור סביבתי
אור מהסביבה הוא האור הכולל המפוזר שמגיע מהסביבה, והופך את הכול לגלוי.
הצללה
הצללה היא עוצמת האור. לדוגמה, לחלקים שונים של אותו אובייקט יכולות להיות רמות הצללה שונות באותה סצינה, בהתאם לזווית יחסית לצופה ולמידת הקרבה שלו למקור אור.
הדגשות לספקריות
אזורים בהירים בתמונה הם החלקים המבריקים של המשטחים שמשקפים ישירות מקור אור. ההדגשות על אובייקט משתנות ביחס למיקום של הצופה בנוף.
השתקפות
האור נוטש ממשטחים באופן שונה בהתאם לתכונות הספקולרי (החזרת אור גבוה) או לפיזור (לא השתקפות). לדוגמה, כדור מתכתי יהיה ספקולרי מאוד וישקף את הסביבה, וכדור אחר צבוע באפור מט עמום יופץ. לרוב האובייקטים בעולם האמיתי יש שילוב של התכונות האלה – חשבו על כדור באולינג מפוצל או על כרטיס אשראי משומש.
גם משטחים השתקפות קולטים צבעים מהסביבה. צבעי העצם יכולים להיות מושפעים ישירות מצבעי הסביבה שלו. לדוגמה, כדור לבן בחדר כחול יקבל גוון כחלחל.
מצב HDR סביבתי
המצבים האלה כוללים ממשקי API נפרדים שמאפשרים להעריך תאורה מפורטת ומציאותית לגבי תאורה בכיוון מסוים, צלליות, אזורים בהירים והשתקפות והשתקפות.
מצב HDR סביבתי מתבסס על למידת מכונה כדי לנתח את תמונות המצלמה בזמן אמת ולמזג את התאורה הסביבתית כדי לתמוך ברינדור ריאליסטי של אובייקטים וירטואליים.
המצב הזה של הערכת התאורה מאפשר:
נורית כיוונית ראשית. מייצג את מקור האור הראשי. אפשר להשתמש בה כדי להטיל צלליות.
הרמוניה כדורית סביבתית. מייצג את אנרגיית האור בסביבה שנותרה בסצנה.
מפת קובייה של HDR. אפשר להשתמש בה כדי לעבד השתקפויות באובייקטים מתכתיים מבריקים.
אפשר להשתמש בממשקי ה-API בשילובים שונים, אבל הם נועדו לשימוש משולב כדי להשיג את האפקט הכי מציאותי.
רמזור ראשי
ה-API הראשי של התאורה הכיוונית מחשב את הכיוון והעוצמה של מקור האור הראשי בסצנה. המידע הזה מאפשר לאובייקטים וירטואליים בסצנה להציג הדגשות ספקולטיביות במיקום סביר, ולהטיל צללים בכיוון שתואם לאובייקטים האמיתיים הגלויים האחרים.
כדי לראות איך זה עובד, בדקו את שתי התמונות הבאות של אותו טיל וירטואלי. בתמונה שמשמאל יש צל מתחת לטיל, אבל הכיוון שלו לא תואם לשאר הצללים בסביבה. בטיל מימין, הצל פונה לכיוון הנכון. זהו הבדל עדין אך חשוב, והוא מבסס את הטיל בסצנה מפני שהכיוון והעוצמה של הצל מתאימים יותר לצללים אחרים בסצנה.
כשמקור האור הראשי או עצם מואר נמצאים בתנועה, ההדגשה האופטית של העצם משנה את מיקומה בזמן אמת ביחס למקור האור.
צלליות כיווניות גם משנות את האורך והכיוון שלהן ביחס למיקום של מקור האור הראשי, בדיוק כמו בעולם האמיתי. כדי להמחיש את האפקט הזה, ניקח לדוגמה שתי בובות תצוגה – האחת וירטואלית והשנייה אמיתית. בובת ראווה בצד שמאל היא זו הווירטואלית.
הרמוניה כדורית אמביינט
בנוסף לאנרגיית האור באור הכיווני הראשי, ARCore מספק הרמוניה כדורית, שמייצגת את האור הכולל בסביבה שמגיע מכל הכיוונים בסצנה. השתמשו במידע הזה במהלך הרינדור כדי להוסיף רמזים עדינים שמדגישים את ההגדרה של אובייקטים וירטואליים.
ניקח לדוגמה את שתי התמונות הבאות של אותו דגם של טיל. הטיל משמאל מעובד באמצעות נתוני הערכת תאורה שמזוהים על ידי ממשק ה-API של התאורה הכיוונית הראשית. הטיל בצד ימין מעובד באמצעות מידע שמזוהה על ידי תאורת הכיוון הראשית וממשקי ה-API ההרמוניים כדוריים של הסביבה. לטיל השני יש בבירור הגדרה חזותית ברורה יותר והוא משתלב בצורה חלקה יותר בסצנה.
מפת קוביות של HDR
תוכלו להשתמש ב-360 מעלות בקובייה של HDR כדי ליצור השתקפויות מציאותיות על אובייקטים וירטואליים עם ברק בינוני עד גבוה, כמו משטחים מתכתיים מבריקים. ה-Cubemap גם משפיע על ההצללה והמראה של אובייקטים. לדוגמה, החומר של עצם ספקולרי שמוקף בסביבה כחולה ישקף גוונים כחולים. כדי לחשב את מפת הקובייה של HDR נדרשת כמות קטנה של מחשוב נוסף של המעבד (CPU).
ההחלטה אם להשתמש ב-HDR cubemap תלויה באופן שבו אובייקט משקף את הסביבה שלו. הטיל הווירטואלי הוא מתכתי, ולכן הוא כולל רכיב ספקולרי חזק שמשקף ישירות את הסביבה. לכן היא מפיקה תועלת מהמפה המקובצת. מצד שני, אובייקט וירטואלי עם חומר מט אפור עמום לא כולל שום רכיב ספקרי. הצבע שלו תלוי בעיקר ברכיב הפיזור, והוא לא יפיק תועלת מ-Cubemap.
כל שלושת ממשקי ה-API הסביבתיים של HDR שימשו לעיבוד הטיל שמתחת. ה-360 מעלות הקובייה של HDR מאפשרת למצוא את האותות המשתקפים ולהדגיש את המבנה של האובייקט באופן מלא בסצנה.
זהו אותו מודל של טיל בסביבות עם תאורה שונה. כל הסצנות האלה עובדו באמצעות מידע משלושת ממשקי ה-API, עם צלליות בכיוון מסוים.
מצב 'עוצמת אווירה'
מצב 'עוצמת אווירה' קובע את עוצמת הפיקסלים הממוצעת ואת הסקלרים לתיקון הצבע עבור תמונה נתונה. זהו מיקום כללי שמיועד לתרחישי שימוש שבהם תאורה מדויקת אינה קריטית, כגון אובייקטים עם תאורה חלשה.
עוצמת הפיקסלים
תיעוד עוצמת התאורה הממוצעת של הפיקסלים בסצנה. אפשר להחיל את התאורה הזו על אובייקט וירטואלי שלם.
צבע
זיהוי האיזון הלבן של כל פריים בנפרד. לאחר מכן, תוכלו לתקן אובייקט וירטואלי בצבע כדי שהוא ישתלב בצורה חלקה יותר בצבע הכולל של הסצנה.
גשושים סביבתיים
חיישני הסביבה מארגנים את התצוגות של המצלמה ב-360 מעלות במרקמים של הסביבה, כמו מפות של קוביות. לאחר מכן ניתן להשתמש במרקמים האלה כדי להאיר באופן מציאותי חפצים וירטואליים, כמו כדור מתכת וירטואלי ש"משקף" את החדר שבו הם נמצאים.