सोमवार, 21 सितंबर, 2020
पिछले साल, हमने robots.txt पार्सर और मैचर रिलीज़ किया था. इसको हम अपने प्रोडक्शन सिस्टम में ओपन सोर्स के तौर पर इस्तेमाल करते हैं. तब से, हमने देखा है कि लोग इसकी मदद से नए टूल बनाते हैं. इतना ही नहीं, वे हमारी ओपन सोर्स लाइब्रेरी में योगदान भी देते हैं (जिससे हमारा प्रोडक्शन सिस्टम बेहतर होता है - हम शुक्रगुज़ार हैं!). साथ ही, वे golang और rust जैसी लैंग्वेज में भी इन टूल के वर्शन रिलीज़ करते हैं, जिससे डेवलपर के लिए नए टूल बनाना और भी आसान हो जाता है.
Google में इंटर्न सीज़न खत्म हो रहा है और इसी के साथ, हम robots.txt से जुड़ी दो नए रिलीज़ों को हाइलाइट करना चाहते हैं. इन रिलीज़ के पीछे Search की ओपन सोर्सिंग टीम पर काम करने वाले दो इंटर्न, एंड्रिया दुतूलेस्कु और इयान दोल्शांस्की का बड़ा योगदान रहा है.
robots.txt स्पेसिफ़िकेशन टेस्ट
सबसे पहले, हम robots.txt पार्सर डेवलपर के लिए एक टेस्टिंग फ़्रेमवर्क रिलीज़ कर रहे हैं, जिसे एंड्रिया ने बनाया है. यह प्रोजेक्ट एक ऐसा टेस्टिंग टूल उपलब्ध कराता है जिसकी मदद से इस बात की पुष्टि की जा सकती है कि कोई robots.txt पार्सर, रोबोट एक्सक्लूज़न प्रोटोकॉल का पालन करता है या नहीं और अगर करता है, तो किस हद तक. फ़िलहाल, ऐसा कोई तरीका नहीं है जिससे यह आकलन किया जा सके कि पार्सर कितना सही है, इसलिए एंड्रिया ने ऐसा टूल बनाया है जिसकी मदद से प्रोटोकॉल फ़ॉलो करने वाले robots.txt पार्सर बनाए जा सकते हैं.
Java robots.txt पार्सर और मैचर
इसके अलावा, हम C++ robots.txt पार्सर का Java पोर्ट रिलीज़ कर रहे हैं, जिसे इयान ने बनाया है. Java, GitHub पर तीसरी सबसे लोकप्रिय प्रोग्रामिंग लैंग्वेज है और Google में भी इसका इस्तेमाल बहुत ज़्यादा किया जाता है. इसलिए, यह कोई आश्चर्य की बात नहीं है कि किसी भी कोड को इस लैंग्वेज में पोर्ट करने के सबसे ज़्यादा अनुरोध मिलते हैं. फ़ंक्शन और काम करने के तरीके की बात की जाए, तो यह पार्सर, C++ की मदद से बनाए गए पार्सर जैसा ही है. हमने गहराई से जांच करके पता किया है कि यह robots.txt के बहुत सारे नियमों का पालन करता है. हमारी टीमें, Google के प्रोडक्शन सिस्टम में Java robots.txt पार्सर का इस्तेमाल शुरू करने की तैयारी कर रही हैं. हम उम्मीद करते हैं कि ये आपके लिए भी उपयोगी साबित होगा.
हमेशा की तरह, हम इन प्रोजेक्ट में आपके योगदान की सराहना करते हैं. अगर आप C++ robots.txt पार्सर या इन नए रिलीज़ की मदद से कुछ बनाते हैं, तो हमें इस बारे में ज़रूर बताएं. हम आपके काम को लोगों तक पहुंचाने में आपकी मदद कर सकते हैं! अगर आपको कोई गड़बड़ी मिलती है, तो GitHub पर गड़बड़ी की शिकायत करें या कोड को पुल करने का अनुरोध करके सीधे अपना योगदान दें. अगर इन प्रोजेक्ट के बारे में आपका कोई सवाल है या आप कोई टिप्पणी करना चाहें, तो हमसे Twitter पर संपर्क करें!
एंड्रिया और इयान के साथ काम करके हमें बहुत खुशी हुई. हालांकि, हमें इस बात का अफ़सोस भी है कि उनकी इंटर्नशिप खत्म होने वाली है. उनके योगदान से इंटरनेट को बेहतर बनाने में मदद मिलती है. हम उम्मीद करते हैं कि आने वाले समय में हम फिर से, Google में उनका स्वागत कर सकेंगे.