बधाई! आपने दुनिया भर में दिखने वाले यूनिकॉर्न के बारे में अनुमान लगाया है. आप चाहते हैं कि अनुमान लगाने वाला टूल बिना किसी रुकावट के हर समय काम करे. आपको तुरंत पता चल जाएगा कि आपको अपनी एमएल पाइपलाइन पर नज़र रखनी होगी. हालांकि, आपके सभी कॉम्पोनेंट की निगरानी करना मुश्किल लग सकता है, फिर भी ज़रूरी शर्तों और समाधानों के बारे में जानें.
ट्रेनिंग सर्व करने के लिए स्क्यू देखें
ट्रेनिंग और सेवा देने के समय का मतलब है कि ट्रेनिंग और सर्विंग के लिए आपका इनपुट डेटा अलग-अलग है. नीचे दी गई टेबल में दो खास तरह की स्क्यू के बारे में बताया गया है:
| टाइप | परिभाषा | उदाहरण | समाधान |
|---|---|---|---|
| स्कीमा टेढ़ा-मेढ़ा | इनपुट और ट्रेनिंग इनपुट डेटा, एक ही स्कीमा के मुताबिक नहीं होते. | जब आपका मॉडल पुराने डेटा पर ट्रेनिंग देने के लिए काम करता है, तो उस वर्शन का डेटा उपलब्ध कराने या फ़ॉर्मैट करने के तरीके में बदलाव होता है. | ट्रेनिंग और पेश किए जाने वाले डेटा की पुष्टि करने के लिए, एक ही स्कीमा का इस्तेमाल करें. पक्का करें कि आपने उन आंकड़ों की अलग से जांच की है जिनकी आपके स्कीमा ने जांच नहीं की है. जैसे, जो वैल्यू मौजूद नहीं हैं उनका कुछ हिस्सा |
| फ़ीचर स्क्यू | इंजीनियरिंग डेटा, ट्रेनिंग और सर्विंग के बीच अलग-अलग होता है. | फ़ीचर इंजीनियरिंग कोड, ट्रेनिंग और सर्विंग के बीच अलग-अलग इंजीनियरिंग डेटा बनाने से अलग होता है. | स्कीमा स्क्यू की तरह, ट्रेनिंग और इंजीनियर के डेटा के लिए भी आंकड़ों से जुड़े वही नियम लागू करें. पहचानी गई विशेषताओं की संख्या और हर सुविधा के लिए इस्तेमाल किए गए उदाहरण के अनुपात को ट्रैक करें. |
मॉडल पाइपलाइन के लिए मॉडल उम्र की निगरानी करें
अगर विज्ञापन दिखाने का डेटा समय के साथ बेहतर होता जाता है, लेकिन आपके मॉडल को समय-समय पर ट्रेनिंग नहीं दी जाती, तो आपको मॉडल की क्वालिटी में गिरावट दिखेगी. वह समय ट्रैक करें जब मॉडल को नए डेटा पर फिर से ट्रेन किया गया था. साथ ही, सूचना के लिए थ्रेशोल्ड की उम्र सेट करें. मॉडल में आयु की निगरानी करने के अलावा, आपको पाइपलाइन स्टॉलों को पकड़ने के लिए पूरे पाइपलाइन पर मॉडल की आयु की निगरानी करनी चाहिए.
जांच करें कि मॉडल के वज़न और आउटपुट अंकों में स्थिर हों
मॉडल ट्रेनिंग के दौरान, आपके वज़न और लेयर के आउटपुट NaN या Inf नहीं होने चाहिए. अपने वज़न और लेयर के आउटपुट के लिए, NN और Inf वैल्यू की जांच करने के लिए टेस्ट लिखें. इसके अलावा, यह जांच करें कि लेयर के आधे से ज़्यादा आउटपुट शून्य नहीं हैं.
मॉडल की परफ़ॉर्मेंस पर नज़र रखें
आपका यूनिकॉर्न दिखने का अनुमान, उम्मीद से ज़्यादा लोकप्रिय है! आपको कई अनुमान अनुरोध और ज़्यादा ट्रेनिंग डेटा मिल रहा है. आपको लगता है कि यह तब तक बहुत अच्छा रहता है, जब तक आपको यह महसूस न हो कि आपके मॉडल को ट्रेनिंग देने के लिए ज़्यादा मेमोरी और समय लग रहा है. अपने मॉडल की परफ़ॉर्मेंस पर नज़र रखने के लिए, यह तरीका अपनाएं:
- कोड, मॉडल, और डेटा के वर्शन के हिसाब से मॉडल की परफ़ॉर्मेंस ट्रैक करें. इस तरह की ट्रैकिंग की मदद से, परफ़ॉर्मेंस में आने वाली किसी भी गिरावट की सटीक वजह का पता लगाया जा सकता है.
- किसी नए मॉडल वर्शन के लिए, पिछले वर्शन के मुकाबले हर सेकंड के लिए ट्रेनिंग के चरणों की जांच करें.
- स्टोरेज के इस्तेमाल के लिए थ्रेशोल्ड सेट करके, स्टोरेज लीक की जानकारी पाएं.
- एपीआई के रिस्पॉन्स समय पर नज़र रखें और उनके पर्सेंटाइल ट्रैक करें. हालांकि, एपीआई से जवाब मिलने में लगने वाला समय आपके कंट्रोल से बाहर हो सकता है, लेकिन हो सकता है कि धीरे-धीरे जवाब देने से साइट की परफ़ॉर्मेंस पर असर पड़े.
- हर सेकंड में पूछे गए सवालों की संख्या पर नज़र रखें.
दिखाए गए डेटा पर लाइव मॉडल की क्वालिटी की जांच करें
आपने अपने मॉडल की पुष्टि कर ली है. लेकिन क्या होता अगर असल दुनिया के हालात, जैसे कि यूनिकॉर्न वाला व्यवहार, पुष्टि करने वाला डेटा रिकॉर्ड करने के बाद बदल जाता है? फिर आपके दिखाए गए मॉडल की क्वालिटी खराब होगी. हालांकि, विज्ञापन की क्वालिटी को जांचना मुश्किल होता है, क्योंकि असल डेटा पर हमेशा लेबल नहीं लगाया जाता. अगर विज्ञापन दिखाने के लिए डेटा को लेबल नहीं किया गया है, तो इन जांच पर विचार करें:
ऐसे मॉडल की जांच करें जो अनुमानों में, ज़रूरी आंकड़ों के मापदंड दिखाते हैं. क्लासिफ़िकेशन: प्रिडिक्शन बायस देखें.
अपने मॉडल के लिए वास्तविक मेट्रिक ट्रैक करें. उदाहरण के लिए, अगर आप स्पैम की कैटगरी तय कर रहे हैं, तो अपने सुझावों की तुलना उपयोगकर्ता की ओर से रिपोर्ट किए गए स्पैम से करें.
अपनी क्वेरी के कुछ हिस्सों पर नया मॉडल वर्शन दिखाकर, ट्रेनिंग और सर्विंग डेटा के बीच के संभावित अंतर को कम करें. जब आप नए तरीके से पेश करने वाले अपने मॉडल की पुष्टि करेंगे, तो सभी क्वेरी को नए वर्शन में धीरे-धीरे स्विच करें.
इन टेस्ट का इस्तेमाल करते हुए, अनुमान की क्वालिटी में अचानक और धीमी होने पर नज़र रखें.