प्लैटफ़ॉर्म के हिसाब से गाइड
Android (Kotlin/Java)
Android NDK (C)
iOS
Unity (AR Foundation)
Scene Semantics API की मदद से, डेवलपर को उपयोगकर्ता के आस-पास के सीन के बारे में जानकारी मिलती है. यह जानकारी, एआर के कई बेहतरीन अनुभव देने के लिए ज़रूरी होती है. सीन सिमैंटिक्स एपीआई, एमएल मॉडल पर आधारित है. यह रीयल-टाइम में सिमैंटिक जानकारी देता है. यह जानकारी, ARCore में मौजूद ज्यामितीय जानकारी के साथ काम करती है.
बाहरी सीन की इमेज दिए जाने पर, एपीआई हर पिक्सल के लिए एक लेबल दिखाता है. यह लेबल, काम की सिमैंटिक क्लास के सेट के हिसाब से होता है. जैसे, आसमान, इमारत, पेड़, सड़क, फ़ुटपाथ, वाहन, व्यक्ति वगैरह. पिक्सल लेबल के अलावा, Scene Semantics API हर पिक्सल लेबल के लिए कॉन्फ़िडेंस वैल्यू भी देता है. साथ ही, यह किसी बाहरी सीन में दिए गए लेबल की मौजूदगी के बारे में क्वेरी करने का आसान तरीका भी उपलब्ध कराता है.
बाईं से दाईं ओर, इनपुट इमेज, पिक्सल लेबल की सिमैंटिक इमेज, और उससे जुड़ी कॉन्फ़िडेंस इमेज के उदाहरण दिए गए हैं:
सीन सिमैंटिक्स एपीआई की मदद से, डेवलपर सीन के कुछ कॉम्पोनेंट की पहचान कर सकते हैं. जैसे, सड़कों और फ़ुटपाथ की पहचान करके, किसी अनजान शहर में उपयोगकर्ता की मदद करना, लोगों और वाहनों की पहचान करके डाइनैमिक ऑब्जेक्ट पर ओक्लूज़न रेंडर करना, आसमान की पहचान करके दिन के किसी भी समय सूर्यास्त बनाना, और इमारतों की पहचान करके उनकी बनावट में बदलाव करना और वर्चुअल ऑब्जेक्ट को ऐंकर करना.
सिमैंटिक लेबल और क्वालिटी
Scene Semantics API, कई लेबल उपलब्ध कराता है. हर लेबल की क्वालिटी या भरोसेमंद होने का स्तर अलग-अलग होता है. आम तौर पर, एमएल मॉडल छोटे या कम दिखने वाले ऑब्जेक्ट/सरफ़ेस की क्लास के मुकाबले, बड़े और ज़्यादा दिखने वाले ऑब्जेक्ट/सरफ़ेस की क्लास का बेहतर तरीके से अनुमान लगा पाता है. क्लासों को क्वालिटी के इन टियर में ग्रुप किया जा सकता है. इन्हें ज़्यादा से कम के क्रम में रैंक किया गया है:
| सिमैंटिक लेबल की क्वालिटी के टियर | |
|---|---|
| सीन के मुख्य कॉम्पोनेंट |
|
| सीन की मुख्य जानकारी |
|
| सीन की छोटी-छोटी जानकारी |
|
मेरे डिवाइस पर यह सुविधा काम नहीं करती
Scene Semantics API के लिए, Depth API की तरह ही डिवाइसों की सूची उपलब्ध है. कृपया ARCore की सुविधा वाले डिवाइस पेज पर जाएं. यहां आपको ऐसे डिवाइसों की अप-टू-डेट सूची मिलेगी जिन पर दोनों एपीआई काम करते हैं.
इस्तेमाल के उदाहरण
Scene Semantics API को इन स्थितियों में इस्तेमाल करने के लिए डिज़ाइन किया गया है:
बाहरी सीन: यह सिर्फ़ बाहरी सीन के साथ काम करता है. इसे घर के अंदर इस्तेमाल करने के लिए नहीं बनाया गया है.
पोर्ट्रेट ओरिएंटेशन: इसका इस्तेमाल सिर्फ़ डिवाइस के डिफ़ॉल्ट ओरिएंटेशन मोड (यानी कि पोर्ट्रेट) में किया जाना चाहिए. लैंडस्केप मोड में, सिमैंटिक लेबल की क्वालिटी की कोई गारंटी नहीं है.