ML किट की ऑन-डिवाइस ऑब्जेक्ट पहचान और ट्रैकिंग एपीआई की मदद से, किसी इमेज या लाइव कैमरा फ़ीड में ऑब्जेक्ट का पता लगाया जा सकता है और उन्हें ट्रैक किया जा सकता है.
इसके अलावा, एपीआई में बने खुरदड़ कैटगरी तय करने वाले तरीके का इस्तेमाल करके या अपनी पसंद के मुताबिक बनाए गए इमेज क्लासिफ़िकेशन मॉडल का इस्तेमाल करके, पहचानी गई चीज़ों की कैटगरी तय की जा सकती है. ज़्यादा जानकारी के लिए, कस्टम TensorFlow लाइट मॉडल का इस्तेमाल करना देखें.
ऑब्जेक्ट का पता लगाने और उसे ट्रैक करने से डिवाइस पर काम होता है. इसलिए, यह विज़ुअल सर्च पाइपलाइन के सामने वाले हिस्से पर भी ठीक से काम करता है. ऑब्जेक्ट का पता लगाने और उन्हें फ़िल्टर करने के बाद, उन्हें किसी क्लाउड बैकएंड पर भेजा जा सकता है, जैसे कि Cloud Vision प्रॉडक्ट सर्च.
मुख्य सुविधाएं
- तेज़ ऑब्जेक्ट का पता लगाना और ट्रैकिंग ऑब्जेक्ट का पता लगाएं और इमेज में उनकी जगह ढूंढें. एक से ज़्यादा इमेज फ़्रेम में ऑब्जेक्ट ट्रैक करें.
- ऑप्टिमाइज़ किया गया डिवाइस मॉडल ऑब्जेक्ट का पता लगाने और उसे ट्रैक करने के मॉडल को मोबाइल डिवाइस के लिए ऑप्टिमाइज़ किया गया है. इसका इस्तेमाल रीयल-टाइम ऐप्लिकेशन में भी किया जा सकता है.
- प्रमुख ऑब्जेक्ट की पहचान इमेज में सबसे प्रमुख ऑब्जेक्ट को अपने आप तय करें.
- असभ्य वर्गीकरण ऑब्जेक्ट को विस्तृत श्रेणियों में वर्गीकृत करें, जिनका उपयोग आप उन ऑब्जेक्ट को फ़िल्टर करने के लिए कर सकते हैं, जिनमें आपकी रुचि नहीं है. ये कैटगरी काम करती हैं: घर के सामान, फ़ैशन के सामान, खाना, पौधे, और जगहें.
- कस्टम मॉडल के साथ क्लासिफ़िकेशन खास ऑब्जेक्ट कैटगरी की पहचान करने या उन्हें फ़िल्टर करने के लिए, कस्टम इमेज क्लासिफ़िकेशन मॉडल का इस्तेमाल करें. अपने कस्टम मॉडल का बेहतर प्रदर्शन करने के लिए, इमेज के बैकग्राउंड को छोड़ दें.
परिणामों के उदाहरण
सभी इमेज में, सबसे अहम ऑब्जेक्ट को ट्रैक करना
नीचे दिया गया उदाहरण एक के बाद एक तीन फ़्रेम का ट्रैकिंग डेटा दिखाता है. इसमें आम तौर पर, मशीन लर्निंग (एमएल किट) से मिलने वाले, डेटा की कैटगरी तय करने वाले डिफ़ॉल्ट टूल की जानकारी दी गई है.
 |
|
||||||||
 |
|
||||||||
 |
|
फ़ोटो: क्रिश्चियन फ़ेरर [CC BY-SA 4.0]
स्टैटिक इमेज में कई ऑब्जेक्ट
नीचे दिए गए उदाहरण में, इमेज में पाए गए चार ऑब्जेक्ट के लिए डेटा दिखाया गया है. इसमें एमएल किट से मिलने वाला डिफ़ॉल्ट रूप से अनुमानित क्लासिफ़ायर दिया गया है.
| ऑब्जेक्ट 0 | |
|---|---|
| सीमाएं | (1, 97), (332, 97), (332, 332), (1, 332) |
| कैटगरी | FASHION_GOOD |
| कॉन्फ़िडेंस क्लासिफ़िकेशन | 0.95703125 |
| ऑब्जेक्ट 1 | |
| सीमाएं | (186, 80), (337, 80), (337, 226), (186, 226) |
| कैटगरी | FASHION_GOOD |
| कॉन्फ़िडेंस क्लासिफ़िकेशन | 0.84375 |
| ऑब्जेक्ट 2 | |
| सीमाएं | (296, 80), (472, 80), (472, 388), (296, 388) ( |
| कैटगरी | FASHION_GOOD |
| कॉन्फ़िडेंस क्लासिफ़िकेशन | 0.94921875 |
| ऑब्जेक्ट 3 | |
| सीमाएं | (439, 83), (615, 83), (615, 306), (439, 306) |
| कैटगरी | FASHION_GOOD |
| कॉन्फ़िडेंस क्लासिफ़िकेशन | 0.9375 |
कस्टम TensorFlow लाइट मॉडल का इस्तेमाल करना
कैटगरी का डिफ़ॉल्ट ऊपरी हिस्सा पांच कैटगरी के लिए बनाया गया है. इससे, पता चलने वाली चीज़ों के बारे में सीमित जानकारी मिलती है. आपको एक ज़्यादा खास क्लासिफ़ायर मॉडल की ज़रूरत पड़ सकती है, जिसमें कॉन्सेप्ट के बारे में ज़्यादा सटीक जानकारी देने वाला डोमेन शामिल हो. उदाहरण के लिए, एक मॉडल जो फूलों की प्रजातियों या अलग-अलग तरह के भोजन में अंतर करता है.
यह एपीआई, आपको कई तरह के स्रोतों से कस्टम इमेज की कैटगरी तय करने वाले मॉडल के हिसाब से, इस्तेमाल के किसी खास उदाहरण में बदलाव करने की सुविधा देता है. ज़्यादा जानने के लिए, कृपया एमएल किट वाले कस्टम मॉडल देखें. कस्टम मॉडल को आपके ऐप्लिकेशन के साथ बंडल किया जा सकता है या क्लाउड से डाइनैमिक तरीके से डाउनलोड किया जा सकता है. इसके लिए, 'Firebase मशीन लर्निंग' की मॉडल डिप्लॉयमेंट सेवा का इस्तेमाल किया जाता है.
इनपुट चित्र प्री-प्रोसेसिंग
अगर ज़रूरत हो, तो ऑब्जेक्ट का पता लगाने और उसे ट्रैक करने के लिए, इनपुट इमेज के साइज़ और आसपेक्ट रेशियो को अडजस्ट करने के लिए, बायलाइनर इमेज स्केलिंग और स्ट्रैचिंग का इस्तेमाल किया जाता है. इससे, ये मॉडल के मॉडल की ज़रूरी शर्तों के मुताबिक हो जाती हैं.