प्लेटफ़ॉर्म के हिसाब से गाइड
Android (Kotlin/Java)
Android एनडीके (NDK) (C)
Unity (AR Foundation)
Unreal Engine
एआर के असली जैसे अनुभव देने के लिए, लाइटिंग को सही तरीके से सेट करना ज़रूरी है. अगर किसी वर्चुअल ऑब्जेक्ट की परछाई नहीं दिखती है या वह चमकदार है, लेकिन आस-पास की जगह को रिफ़्लेक्ट नहीं करती है, तो उपयोगकर्ताओं को लग सकता है कि ऑब्जेक्ट सही नहीं है. भले ही, वे इसकी वजह न बता पाएं. ऐसा इसलिए होता है, क्योंकि इंसान अपने आस-पास मौजूद ऑब्जेक्ट पर पड़ने वाली रोशनी के बारे में, बिना सोचे-समझे जानकारी इकट्ठा करते हैं. लाइटिंग एस्टिमेशन एपीआई दी गई इमेज में, इस तरह की जानकारी का विश्लेषण करता है. साथ ही, किसी सीन में मौजूद लाइटिंग के बारे में पूरी जानकारी देता है. इसके बाद, वर्चुअल ऑब्जेक्ट को रेंडर करते समय, इस जानकारी का इस्तेमाल किया जा सकता है. इससे वर्चुअल ऑब्जेक्ट पर उसी तरह की रोशनी डाली जा सकती है जैसी उस सीन में मौजूद अन्य ऑब्जेक्ट पर पड़ रही है. इससे उपयोगकर्ताओं को असली जैसा अनुभव मिलता है और वे गेम में बने रहते हैं.
लाइटिंग की जानकारी
लाइटिंग एस्टिमेशन एपीआई, पूरी जानकारी वाला डेटा उपलब्ध कराता है. इसकी मदद से, वर्चुअल ऑब्जेक्ट को रेंडर करते समय, लाइटिंग की अलग-अलग जानकारी को कॉपी किया जा सकता है. ये जानकारी, परछाई, आस-पास की रोशनी, शेडिंग, चमकदार हाइलाइट, और रिफ़्लेक्शन के बारे में होती है.
परछाई
परछाई अक्सर किसी दिशा में पड़ती है. इससे दर्शकों को पता चलता है कि रोशनी के सोर्स कहां से आ रहे हैं.
आस-पास की रोशनी
आस-पास की रोशनी, चारों ओर से आने वाली बिखरी हुई रोशनी होती है. इससे सब कुछ दिखता है.
शेडिंग
शेडिंग, रोशनी की इंटेंसिटी होती है. उदाहरण के लिए, एक ही सीन में मौजूद एक ही ऑब्जेक्ट के अलग-अलग हिस्सों पर, अलग-अलग लेवल की शेडिंग हो सकती है. यह इस बात पर निर्भर करता है कि दर्शक के मुकाबले ऑब्जेक्ट का ऐंगल क्या है और वह रोशनी के सोर्स से कितनी दूरी पर है.
चमकदार हाइलाइट
चमकदार हाइलाइट, सतहों के चमकदार हिस्से होते हैं. ये हिस्से, रोशनी के सोर्स को सीधे रिफ़्लेक्ट करते हैं. किसी सीन में, दर्शक की पोज़िशन के हिसाब से, ऑब्जेक्ट पर दिखने वाली हाइलाइट बदलती हैं.
रिफ़्लेक्शन
सतह के चमकदार (ज़्यादा रिफ़्लेक्टिव) या बिखरे हुए (रिफ़्लेक्टिव नहीं) होने के आधार पर, रोशनी अलग-अलग तरीके से रिफ़्लेक्ट होती है. उदाहरण के लिए, धातु की बनी बॉल ज़्यादा चमकदार होगी और अपने आस-पास की चीज़ों को रिफ़्लेक्ट करेगी. वहीं, मैट ग्रे रंग से रंगी दूसरी बॉल, बिखरी हुई दिखेगी. असल दुनिया में मौजूद ज़्यादातर ऑब्जेक्ट में, इन प्रॉपर्टी का कॉम्बिनेशन होता है. जैसे, घिसी हुई बॉलिंग बॉल या इस्तेमाल किया गया क्रेडिट कार्ड.
रिफ़्लेक्टिव सतहें, आस-पास के माहौल से रंग भी लेती हैं. किसी ऑब्जेक्ट का रंग, उसके आस-पास के माहौल के रंग से सीधे तौर पर प्रभावित हो सकता है. उदाहरण के लिए, नीले रंग के कमरे में मौजूद सफ़ेद बॉल, नीले रंग की दिखेगी.
एनवायरमेंटल एचडीआर मोड
इन मोड में अलग-अलग एपीआई शामिल होते हैं. इनकी मदद से, दिशा वाली लाइटिंग, परछाई, चमकदार हाइलाइट, और रिफ़्लेक्शन के लिए, सटीक और असली जैसी लाइटिंग का अनुमान लगाया जा सकता है.
एनवायरमेंटल एचडीआर मोड, मशीन लर्निंग का इस्तेमाल करके, कैमरे से ली गई इमेज का रीयल टाइम में विश्लेषण करता है. साथ ही, वर्चुअल ऑब्जेक्ट को असली जैसा दिखाने के लिए, एनवायरमेंटल लाइटिंग को सिंथेसाइज़ करता है.
लाइटिंग एस्टिमेशन के इस मोड से, ये चीज़ें मिलती हैं:
मुख्य दिशा वाली लाइट. यह रोशनी के मुख्य सोर्स को दिखाती है. इसका इस्तेमाल, परछाई दिखाने के लिए किया जा सकता है.
ऐंबियंट स्फ़ेरिकल हार्मोनिक्स. यह सीन में बची हुई आस-पास की रोशनी की एनर्जी को दिखाता है.
एक एचडीआर क्यूबमैप. इसका इस्तेमाल, चमकदार धातु के ऑब्जेक्ट में रिफ़्लेक्शन दिखाने के लिए किया जा सकता है.
इन एपीआई का इस्तेमाल अलग-अलग कॉम्बिनेशन में किया जा सकता है. हालांकि, इन्हें असली जैसा इफ़ेक्ट पाने के लिए, एक साथ इस्तेमाल करने के लिए डिज़ाइन किया गया है.
मुख्य दिशा वाली लाइट
मुख्य दिशा वाली लाइट का एपीआई, सीन में रोशनी के मुख्य सोर्स की दिशा और इंटेंसिटी की गिनती करता है. इस जानकारी की मदद से, आपके सीन में मौजूद वर्चुअल ऑब्जेक्ट, सही पोज़िशन पर चमकदार हाइलाइट दिखा सकते हैं. साथ ही, दिखने वाले अन्य असली ऑब्जेक्ट के हिसाब से, परछाई दिखा सकते हैं.
यह कैसे काम करता है, यह समझने के लिए, एक ही वर्चुअल रॉकेट की इन दो इमेज को देखें. बाईं ओर मौजूद इमेज में, रॉकेट के नीचे परछाई दिख रही है. हालांकि, इसकी दिशा, सीन में मौजूद अन्य परछाइयों की दिशा से मेल नहीं खाती. दाईं ओर मौजूद रॉकेट की परछाई, सही दिशा में दिख रही है. यह एक छोटा, लेकिन अहम अंतर है. इससे रॉकेट, सीन में असली जैसा दिखता है, क्योंकि परछाई की दिशा और इंटेंसिटी, सीन में मौजूद अन्य परछाइयों से बेहतर तरीके से मेल खाती है.
जब रोशनी का मुख्य सोर्स या कोई चमकदार ऑब्जेक्ट मूव करता है, तो ऑब्जेक्ट पर दिखने वाली चमकदार हाइलाइट, रोशनी के सोर्स के हिसाब से अपनी पोज़िशन को रीयल टाइम में अडजस्ट करती है.
दिशा वाली परछाई भी, रोशनी के मुख्य सोर्स की पोज़िशन के हिसाब से अपनी लंबाई और दिशा को अडजस्ट करती हैं. जैसे, असल दुनिया में करती हैं. इस इफ़ेक्ट को दिखाने के लिए, इन दो पुतलों को देखें. इनमें से एक वर्चुअल है और दूसरा असली. बाईं ओर मौजूद पुतला, वर्चुअल है.
ऐंबियंट स्फ़ेरिकल हार्मोनिक्स
ARCore, रोशनी के मुख्य सोर्स की एनर्जी के अलावा, स्फ़ेरिकल हार्मोनिक्स भी उपलब्ध कराता है. ये हार्मोनिक्स, सीन में चारों ओर से आने वाली आस-पास की रोशनी को दिखाते हैं. वर्चुअल ऑब्जेक्ट की परिभाषा को बेहतर बनाने के लिए, रेंडरिंग के दौरान इस जानकारी का इस्तेमाल करें. इससे वर्चुअल ऑब्जेक्ट असली जैसे दिखते हैं.
एक ही रॉकेट मॉडल की इन दो इमेज को देखें. बाईं ओर मौजूद रॉकेट को, लाइटिंग एस्टिमेशन की उस जानकारी का इस्तेमाल करके रेंडर किया गया है जिसे मुख्य दिशा वाली लाइट के एपीआई ने डिटेक्ट किया है. दाईं ओर मौजूद रॉकेट को, मुख्य दिशा वाली लाइट और ऐंबियंट स्फ़ेरिकल हार्मोनिक्स, दोनों एपीआई से मिली जानकारी का इस्तेमाल करके रेंडर किया गया है. दूसरे रॉकेट में, विज़ुअल परिभाषा साफ़ तौर पर दिखती है. साथ ही, यह सीन में ज़्यादा बेहतर तरीके से घुल-मिल जाता है.
एचडीआर क्यूबमैप
एचडीआर क्यूबमैप का इस्तेमाल, मीडियम से लेकर हाई ग्लॉसीनेस वाले वर्चुअल ऑब्जेक्ट पर असली जैसे रिफ़्लेक्शन दिखाने के लिए करें. जैसे, चमकदार धातु की सतहें. क्यूबमैप, ऑब्जेक्ट की शेडिंग और दिखने के तरीके पर भी असर डालता है. उदाहरण के लिए, नीले रंग के माहौल में मौजूद चमकदार ऑब्जेक्ट का मटीरियल, नीले रंग की झलक दिखाएगा. एचडीआर क्यूबमैप की गिनती करने के लिए, सीपीयू की थोड़ी ज़्यादा कंप्यूटिंग पावर की ज़रूरत होती है.
एचडीआर क्यूबमैप का इस्तेमाल करना चाहिए या नहीं, यह इस बात पर निर्भर करता है कि कोई ऑब्जेक्ट अपने आस-पास की चीज़ों को कैसे रिफ़्लेक्ट करता है. वर्चुअल रॉकेट धातु का बना है. इसलिए, इसमें एक मज़बूत चमकदार कॉम्पोनेंट है, जो अपने आस-पास के माहौल को सीधे रिफ़्लेक्ट करता है. इसलिए, इसे क्यूबमैप से फ़ायदा मिलता है. वहीं दूसरी ओर, मैट ग्रे मटीरियल वाले वर्चुअल ऑब्जेक्ट में, चमकदार कॉम्पोनेंट नहीं होता है. इसका रंग, मुख्य रूप से बिखरे हुए कॉम्पोनेंट पर निर्भर करता है. इसलिए, इसे क्यूबमैप से कोई फ़ायदा नहीं मिलेगा.
नीचे दिए गए रॉकेट को रेंडर करने के लिए, एनवायरमेंटल एचडीआर के तीनों एपीआई का इस्तेमाल किया गया है. एचडीआर क्यूबमैप, रिफ़्लेक्टिव जानकारी को दिखाता है. साथ ही, ऑब्जेक्ट को सीन में पूरी तरह से असली जैसा दिखाने के लिए, उसे और हाइलाइट करता है.
यहां एक ही रॉकेट मॉडल को अलग-अलग लाइटिंग वाले माहौल में दिखाया गया है. इन सभी सीन को, तीनों एपीआई से मिली जानकारी का इस्तेमाल करके रेंडर किया गया है. इनमें दिशा वाली परछाई भी शामिल हैं.
ऐंबियंट इंटेंसिटी मोड
ऐंबियंट इंटेंसिटी मोड, किसी इमेज के लिए औसत पिक्सल इंटेंसिटी और कलर करेक्शन स्केलर तय करता है. यह एक सामान्य सेटिंग है. इसे उन मामलों के लिए डिज़ाइन किया गया है जहां सटीक लाइटिंग ज़रूरी नहीं है. जैसे, ऐसे ऑब्जेक्ट जिनमें पहले से लाइटिंग शामिल है.
पिक्सल इंटेंसिटी
यह किसी सीन में लाइटिंग की औसत पिक्सल इंटेंसिटी को कैप्चर करता है. इस लाइटिंग को, पूरे वर्चुअल ऑब्जेक्ट पर लागू किया जा सकता है.
रंग
यह हर फ़्रेम के लिए, व्हाइट बैलेंस का पता लगाता है. इसके बाद, वर्चुअल ऑब्जेक्ट के रंग को ठीक किया जा सकता है, ताकि वह सीन के कुल रंग में ज़्यादा बेहतर तरीके से घुल-मिल जाए.
एनवायरमेंट प्रोब
एनवायरमेंट प्रोब, 360 डिग्री वाले कैमरे के व्यू को, एनवायरमेंट टेक्सचर में व्यवस्थित करते हैं. जैसे, क्यूब मैप. इन टेक्सचर का इस्तेमाल, वर्चुअल ऑब्जेक्ट को असली जैसा दिखाने के लिए किया जा सकता है. जैसे, धातु की बनी वर्चुअल बॉल, जिस कमरे में है उसे “रिफ़्लेक्ट” करती है.