आपको कैसे पता चलेगा कि एमएल को लागू करने से आपको फ़ायदा हुआ है या नहीं? आपको जश्न कब मनाना चाहिए: मॉडल के प्रोडक्शन में जाने और पहली बार अनुमान लगाने के तुरंत बाद या सिर्फ़ तब, जब कारोबार की कोई मात्रात्मक मेट्रिक सही दिशा में बढ़ने लगे?
किसी प्रोजेक्ट को शुरू करने से पहले, यह तय करना ज़रूरी है कि किस मेट्रिक को साफ़ तौर पर कामयाब माना जाएगा. साथ ही, यह भी तय करना ज़रूरी है कि प्रोजेक्ट के दौरान क्या-क्या डिलीवर किया जाएगा. आपको इन दो तरह की मेट्रिक को तय करना होगा और उन्हें ट्रैक करना होगा:
कारोबार की मेट्रिक. कारोबार की परफ़ॉर्मेंस का आकलन करने के लिए मेट्रिक. उदाहरण के लिए, रेवेन्यू, क्लिक-थ्रू रेट या उपयोगकर्ताओं की संख्या.
मॉडल की मेट्रिक. मॉडल की क्वालिटी का आकलन करने के लिए मेट्रिक. उदाहरण के लिए, रूट मीन स्क्वेयर्ड की गड़बड़ी, सटीकता या रिकॉल.
कारोबार की मेट्रिक
कारोबार की मेट्रिक सबसे अहम होती हैं. एमएल का इस्तेमाल करने की वजह यही है कि आपको कारोबार को बेहतर बनाना है.
ऐसे प्रॉडक्ट या कारोबार की मेट्रिक से शुरुआत करें जिन्हें मेज़र किया जा सकता है. मेट्रिक को जितना हो सके उतना ज़्यादा फ़ोकस और बारीकी से मापा जाना चाहिए. यहां कारोबार की ऐसी मेट्रिक के उदाहरण दिए गए हैं जिन पर फ़ोकस किया जा सकता है और जिन्हें मेज़र किया जा सकता है:
- डेटासेंटर के हर महीने के बिजली के खर्च को 30 प्रतिशत तक कम किया जा सकता है.
- प्रॉडक्ट के सुझावों से मिलने वाले रेवेन्यू में 12 प्रतिशत की बढ़ोतरी हुई.
- क्लिक मिलने की दर (सीटीआर) में नौ प्रतिशत की बढ़ोतरी हुई.
- ऑप्ट-इन सर्वे में हिस्सा लेने वाले खरीदारों की सकारात्मक प्रतिक्रिया में 20 प्रतिशत की बढ़ोतरी करना.
- पेज पर बिताए गए समय को 4 प्रतिशत तक बढ़ाएं.
कारोबार की मेट्रिक ट्रैक करना
अगर आपको जिस कारोबारी मेट्रिक को बेहतर बनाना है उसे ट्रैक नहीं किया जा रहा है, तो उसे ट्रैक करने के लिए बुनियादी ढांचा लागू करें. अगर फ़िलहाल क्लिक-थ्रू रेट को मेज़र नहीं किया जा रहा है, तो क्लिक-थ्रू रेट को 15% बढ़ाने का लक्ष्य सेट करना सही नहीं है.
सबसे ज़रूरी बात यह है कि पक्का करें कि समस्या के लिए सही मेट्रिक मेज़र की जा रही हो. उदाहरण के लिए, अगर सुझावों से मिलने वाला रेवेन्यू ज़्यादा अहम मेट्रिक है, तो क्लिक मिलने की दरों को ट्रैक करने के लिए इंस्ट्रुमेंटेशन लिखने में समय बर्बाद न करें.
प्रोजेक्ट में आगे बढ़ने पर, आपको पता चलेगा कि सफलता की टारगेट मेट्रिक, वाकई में एक सही टारगेट है या नहीं. कुछ मामलों में, तय की गई सफलता मेट्रिक के आधार पर, आपको लग सकता है कि प्रोजेक्ट सही नहीं है.
मॉडल की मेट्रिक
आपको मॉडल को प्रोडक्शन में कब डालना चाहिए? जब AUC की वैल्यू किसी खास वैल्यू पर हो? मॉडल को किसी खास F1 स्कोर तक पहुंचने में कितना समय लगता है? इस सवाल का जवाब, इस बात पर निर्भर करता है कि आपको किस तरह की समस्या हल करनी है और आपको लगता है कि कारोबार के मेट्रिक को बेहतर बनाने के लिए, अनुमान की क्वालिटी को बेहतर बनाने की ज़रूरत है.
अपने मॉडल का आकलन करने के लिए, किन मेट्रिक का इस्तेमाल करना है, यह तय करते समय इन बातों का ध्यान रखें:
ऑप्टिमाइज़ करने के लिए कोई एक मेट्रिक तय करें. उदाहरण के लिए, क्लासिफ़िकेशन मॉडल का आकलन अलग-अलग मेट्रिक के आधार पर किया जा सकता है. जैसे, AUC, एयूसी-पीआर वगैरह. जब अलग-अलग मेट्रिक, अलग-अलग मॉडल के पक्ष में होती हैं, तो सबसे सही मॉडल चुनना मुश्किल हो सकता है. इसलिए, मॉडल का आकलन करने के लिए किसी एक मेट्रिक पर सहमत हों.
यह तय करना कि किन लक्ष्यों को पूरा करना है. स्वीकार्यता के लक्ष्य, मॉडल के आकलन की मेट्रिक से अलग होते हैं. ये उन लक्ष्यों को कहते हैं जिन्हें मॉडल को पूरा करना होता है, ताकि उसे इस्तेमाल के उदाहरण के लिए स्वीकार किया जा सके. उदाहरण के लिए, स्वीकार्यता का लक्ष्य "गलत आउटपुट 0.1% से कम है" या "टॉप पांच कैटगरी के लिए रीकॉल 97% से ज़्यादा है" हो सकता है.
उदाहरण के लिए, मान लें कि बाइनरी क्लासिफ़िकेशन मॉडल धोखाधड़ी वाले लेन-देन का पता लगाता है. इसकी ऑप्टिमाइज़ेशन मेट्रिक, याददाश्त हो सकती है. वहीं, इसकी स्वीकार्यता का लक्ष्य सटीक होना हो सकता है. दूसरे शब्दों में कहें, तो हम रिकॉल (ज़्यादातर समय धोखाधड़ी की सही पहचान करना) को प्राथमिकता देंगे. साथ ही, हम चाहते हैं कि सटीक पहचान करने की दर, किसी खास वैल्यू पर बनी रहे या उससे ज़्यादा हो (धोखाधड़ी वाले असली लेन-देन की पहचान करना).
मॉडल मेट्रिक और कारोबार की मेट्रिक के बीच संबंध
असल में, आपको ऐसा मॉडल डेवलप करना है जिसकी अनुमान लगाने की क्वालिटी, आपके कारोबार के मेट्रिक से जुड़ी हो. मॉडल की मेट्रिक अच्छी होने का मतलब यह नहीं है कि कारोबार की मेट्रिक भी बेहतर हुई हैं. आपकी टीम, शानदार मेट्रिक वाला मॉडल बना सकती है. हालांकि, ऐसा हो सकता है कि मॉडल के अनुमानों से कारोबार की मेट्रिक बेहतर न हो.
जब आपको अपने मॉडल की अनुमान लगाने की क्वालिटी से संतुष्टि मिल जाए, तो यह पता लगाने की कोशिश करें कि मॉडल की मेट्रिक, कारोबार की मेट्रिक पर कैसे असर डालती हैं. आम तौर पर, टीमें मॉडल को 1% उपयोगकर्ताओं के लिए डिप्लॉय करती हैं. इसके बाद, वे कारोबार की मेट्रिक को मॉनिटर करती हैं.
उदाहरण के लिए, मान लें कि आपकी टीम ने ग्राहक के कारोबार छोड़ने की संभावना का अनुमान लगाने वाला मॉडल बनाया है, ताकि रेवेन्यू बढ़ाया जा सके. सैद्धांतिक तौर पर, अगर आपको यह पता चल जाता है कि कोई ग्राहक प्लैटफ़ॉर्म छोड़ सकता है या नहीं, तो उसे प्लैटफ़ॉर्म पर बने रहने के लिए प्रोत्साहित किया जा सकता है.
आपकी टीम, अनुमान लगाने की 95% क्वालिटी वाला मॉडल बनाती है और इसे उपयोगकर्ताओं के एक छोटे सैंपल पर टेस्ट करती है. हालांकि, रेवेन्यू में बढ़ोतरी नहीं होती. इससे कस्टमर चर्न बढ़ता है. इसकी कुछ वजहें यहां दी गई हैं:
अनुमान, कार्रवाई करने के लिए सही समय पर नहीं मिलते. यह मॉडल, सिर्फ़ सात दिनों के अंदर ग्राहक के प्लैटफ़ॉर्म छोड़ने का अनुमान लगा सकता है. यह अनुमान, ग्राहकों को प्लैटफ़ॉर्म पर बनाए रखने के लिए इंसेंटिव देने के लिए काफ़ी नहीं है.
अधूरे फ़ीचर. ऐसा हो सकता है कि ग्राहक के कारोबार छोड़ने की अन्य वजहें हों, जो ट्रेनिंग डेटासेट में शामिल नहीं थीं.
थ्रेशोल्ड बहुत कम है. मॉडल के मददगार होने के लिए, ज़रूरी है कि उसकी अनुमान लगाने की क्वालिटी 97% या इससे ज़्यादा हो.
इस आसान उदाहरण में, इन दो बातों को हाइलाइट किया गया है:
- मॉडल की मेट्रिक और कारोबार की मेट्रिक के बीच के कनेक्शन को साबित करने (और समझने) के लिए, शुरुआती दौर में उपयोगकर्ता से टेस्टिंग कराना ज़रूरी है.
- मॉडल की मेट्रिक अच्छी होने का मतलब यह नहीं है कि कारोबार की मेट्रिक भी बेहतर होगी.
जनरेटिव एआई
जनरेटिव एआई से मिले जवाबों की समीक्षा करना एक मुश्किल काम है. कई मामलों में, जैसे कि ओपन-एंडेड या क्रिएटिव आउटपुट, पारंपरिक एमएल आउटपुट का आकलन करने की तुलना में इसका आकलन करना ज़्यादा मुश्किल होता है.
एलएलएम को कई मेट्रिक के आधार पर मापा और उनका आकलन किया जा सकता है. आपके इस्तेमाल के उदाहरण के आधार पर यह तय किया जाता है कि मॉडल का आकलन करने के लिए, किन मेट्रिक का इस्तेमाल किया जाए.
ध्यान रखें
मॉडल की सफलता को कारोबार की सफलता से न जोड़ें. दूसरे शब्दों में कहें, तो बेहतरीन मेट्रिक वाले मॉडल से कारोबार की सफलता की गारंटी नहीं मिलती.
कई कुशल इंजीनियर, बेहतरीन मेट्रिक वाले मॉडल बना सकते हैं. आम तौर पर, समस्या यह नहीं होती कि मॉडल को अच्छी तरह से ट्रेन नहीं किया गया है. इसके बजाय, यह है कि मॉडल से कारोबार के मेट्रिक में सुधार नहीं होता है. कारोबार की मेट्रिक और मॉडल की मेट्रिक के बीच तालमेल न होने की वजह से, एमएल प्रोजेक्ट फ़ेल हो सकता है.