Norconex एचटीटीपी कलेक्टर इंडेक्सर प्लगिन डिप्लॉय करें

चेतावनी: Cloud Search के रेफ़रंस कनेक्टर, सैंपल कोड के तौर पर "जैसा है वैसा" उपलब्ध कराए जाते हैं. इनका इस्तेमाल, काम करने वाले अपने कनेक्टर बनाने के लिए किया जा सकता है. इस सैंपल कोड को कॉन्सेप्ट या प्रोडक्शन एनवायरमेंट में इस्तेमाल करने से पहले, इसमें काफ़ी बदलाव करने और इसकी जांच करने की ज़रूरत होती है. हमारा सुझाव है कि प्रोडक्शन के लिए, Cloud Search के किसी पार्टनर से मदद लें. पार्टनर ढूंढने में मदद पाने के लिए, अपने Google खाता मैनेजर से संपर्क करें.

यह गाइड, उन एडमिन के लिए है जो Google Cloud Search Norconex HTTP Collector इंडेक्सर प्लग इन को डाउनलोड, डिप्लॉय, और मैनेज करते हैं. आपको Linux, वेब क्रॉलिंग की बुनियादी बातों, XML, और Norconex HTTP Collector के बारे में जानकारी होनी चाहिए.

इस गाइड में, ये काम करने के निर्देश शामिल हैं:

• इंडेक्सर प्लग इन सॉफ़्टवेयर डाउनलोड करना.
• Cloud Search कॉन्फ़िगर करना.
• Norconex HTTP Collector और वेब क्रॉलिंग कॉन्फ़िगर करना.
• वेब क्रॉल शुरू करना और कॉन्टेंट अपलोड करना.

इस गाइड में, उन टास्क के बारे में जानकारी शामिल नहीं है जिन्हें Google Workspace के एडमिन को पूरा करना होता है. उन टास्क के बारे में जानकारी पाने के लिए, तीसरे पक्ष के डेटा सोर्स मैनेज करना लेख पढ़ें.

Norconex HTTP Collector इंडेक्सर प्लग इन की खास जानकारी

डिफ़ॉल्ट रूप से, Cloud Search, Google Workspace के प्रॉडक्ट से कॉन्टेंट ढूंढ सकता है, उसे इंडेक्स कर सकता है, और दिखा सकता है. जैसे, Google Docs और Gmail. इसे वेब कॉन्टेंट के लिए भी बढ़ाया जा सकता है. इसके लिए, Norconex HTTP Collector के लिए इंडेक्सर प्लग इन डिप्लॉय करें. यह एक ओपन सोर्स एंटरप्राइज़ वेब क्रॉलर है.

कॉन्फ़िगरेशन प्रॉपर्टी फ़ाइलें

प्लग्इन को क्रॉल करने और कॉन्टेंट अपलोड करने की अनुमति देने के लिए, आपको दो कॉन्फ़िगरेशन फ़ाइलों में खास जानकारी देनी होगी:

• {gcs-crawl-config.xml}: Norconex HTTP Collector की सेटिंग.
• sdk-configuration.properties: Cloud Search की सेटिंग.

वेब क्रॉल और कॉन्टेंट अपलोड करना

कॉन्फ़िगरेशन फ़ाइलों में जानकारी भरने के बाद, वेब क्रॉल शुरू किया जा सकता है. Norconex HTTP Collector, वेब को क्रॉल करता है और ओरिजनल बाइनरी या टेक्स्ट दस्तावेज़ का कॉन्टेंट, Cloud Search इंडेक्सिंग एपीआई पर अपलोड करता है.

सिस्टम की ज़रूरतें

• ऑपरेटिंग सिस्टम: सिर्फ़ Linux.
• Norconex का वर्शन: वर्शन 2.8.0.
• सॉफ़्टवेयर: Java JRE 1.8.

एसीएल के लिए सहायता

इंडेक्सर प्लग इन, ऐक्सेस कंट्रोल लिस्ट (एसीएल) के साथ काम करता है. इससे Google Workspace के डोमेन में मौजूद दस्तावेज़ों के ऐक्सेस को कंट्रोल किया जा सकता है.

अगर प्लग इन के कॉन्फ़िगरेशन में डिफ़ॉल्ट एसीएल चालू किए जाते हैं (defaultAcl.mode को none के अलावा किसी और वैल्यू पर सेट किया जाता है), तो प्लग इन इन डिफ़ॉल्ट को लागू करता है. ऐसा न करने पर, प्लग इन पूरे डोमेन को पढ़ने की अनुमति देता है. Google की ओर से दिए गए कनेक्टर के पैरामीटर देखें .

ज़रूरी शर्तें

इंडेक्सर प्लग इन डिप्लॉय करने से पहले, ये कॉम्पोनेंट इकट्ठा करें:

• Google Workspace की निजी कुंजी (जिसमें सेवा खाते का आईडी शामिल हो). Cloud Search API के ऐक्सेस को कॉन्फ़िगर करना लेख पढ़ें.
• Google Workspace के डेटा सोर्स का आईडी. तीसरे पक्ष के डेटा सोर्स मैनेज करना लेख पढ़ें .

डिप्लॉयमेंट के चरण

1. Norconex HTTP Collector और प्लग इन सॉफ़्टवेयर इंस्टॉल करना
2. Cloud Search कॉन्फ़िगर करना
3. Norconex HTTP Collector कॉन्फ़िगर करना
4. वेब क्रॉल कॉन्फ़िगर करना
5. वेब क्रॉल शुरू करना और कॉन्टेंट अपलोड करना

पहला चरण: Norconex HTTP Collector और प्लग इन सॉफ़्टवेयर इंस्टॉल करना

1. Norconex के डाउनलोड पेज से, Norconex committer सॉफ़्टवेयर डाउनलोड करें.
2. सॉफ़्टवेयर को ~/norconex/ में एक्स्ट्रैक्ट करें.

3. committer प्लग इन क्लोन करें:

   git clone https://github.com/google-cloudsearch/norconex-committer-plugin.git
   cd norconex-committer-plugin
   

4. चुने गए वर्शन की जांच करें और प्लग इन बनाएं:

   git checkout tags/v1-0.0.3
   mvn package
   

   टेस्ट स्किप करने के लिए, mvn package -DskipTests का इस्तेमाल करें.

5. JAR फ़ाइल को Norconex की lib डायरेक्ट्री में कॉपी करें:

   cp target/google-cloudsearch-norconex-committer-plugin-v1-0.0.3.jar ~/norconex/norconex-collector-http-VERSION/lib
   

6. बनाई गई ZIP फ़ाइल को एक्स्ट्रैक्ट करें:

   unzip target/google-cloudsearch-norconex-committer-plugin-v1-0.0.3.zip
   cd google-cloudsearch-norconex-committer-plugin-v1-0.0.3
   

7. इंस्टॉल स्क्रिप्ट चलाएं और Norconex की lib डायरेक्ट्री का पूरा पाथ दें:

   sh install.sh
   

   अगर डुप्लीकेट फ़ाइलों के बारे में पूछा जाता है, तो विकल्प 1 चुनें.

दूसरा चरण: Cloud Search कॉन्फ़िगर करना

Norconex डायरेक्ट्री में sdk-configuration.properties बनाएं. फ़ाइल में ये पैरामीटर शामिल होने चाहिए:

सेटिंग	पैरामीटर
डेटा सोर्स का आईडी	api.sourceId = 1234567890abcdef ज़रूरी. आपके Google Workspace एडमिन से मिला सोर्स आईडी.
सेवा खाता	api.serviceAccountPrivateKeyFile = ./PrivateKey.json ज़रूरी. सेवा खाते की कुंजी वाली फ़ाइल.

sdk-configuration.properties का उदाहरण:

# data source access
api.sourceId=1234567890abcdef
api.serviceAccountPrivateKeyFile=./PrivateKey.json

प्लग्इन, डेटा को कैसे पुश करता है, यह कंट्रोल करने के लिए, batch.* जैसे पैरामीटर भी शामिल किए जा सकते हैं. Google की ओर से दिए गए कनेक्टर के पैरामीटर देखें .

मेटाडेटा भरने के लिए, इन ज़रूरी नहीं वाले पैरामीटर को कॉन्फ़िगर करें:

सेटिंग	पैरामीटर
शीर्षक	itemMetadata.title.field=movieTitle
स्कीमा ऑब्जेक्ट का टाइप	itemMetadata.objectType=movie

तीसरा चरण: Norconex HTTP Collector कॉन्फ़िगर करना

प्लग्इन में, minimum-config.xml नाम की एक सैंपल फ़ाइल शामिल होती है.

1. Norconex डायरेक्ट्री पर जाएं और सैंपल कॉपी करें:

   cd ~/norconex/norconex-collector-http-VERSION/
   cp examples/minimum/minimum-config.xml gcs-crawl-config.xml
   

2. gcs-crawl-config.xml में बदलाव करके, <committer> और <tagger> नोड जोड़ें या बदलें:

सेटिंग	पैरामीटर
<committer> नोड	<committer class="com.norconex.committer.googlecloudsearch.GoogleCloudSearchCommitter"> ज़रूरी. इसे <httpcollector> नोड के नीचे जोड़ें.
<uploadFormat>	<uploadFormat>raw</uploadFormat> ज़रूरी नहीं. raw या text. डिफ़ॉल्ट रूप से, यह raw पर सेट रहता है.

gcs-crawl-config.xml का उदाहरण:

<committer class="com.norconex.committer.googlecloudsearch.GoogleCloudSearchCommitter">
    <configFilePath>/full/path/to/gcs-sdk-config.properties</configFilePath>
    <uploadFormat>raw</uploadFormat>
</committer>
<importer>
  <preParseHandlers>
    <tagger class="com.norconex.committer.googlecloudsearch.BinaryContentTagger"/>
  </preParseHandlers>
</importer>

चौथा चरण: वेब क्रॉल कॉन्फ़िगर करना

अपनी ज़रूरतों के हिसाब से <crawler> नोड कॉन्फ़िगर करें. इनमें ये शामिल हैं:

• शुरू करने के लिए यूआरएल
• क्रॉल की ज़्यादा से ज़्यादा डेप्थ
• थ्रेड की संख्या

Norconex कॉन्फ़िगरेशन पेज देखें.

पांचवा चरण: वेब क्रॉल शुरू करना और कॉन्टेंट अपलोड करना

कलेक्टर को लोकल मोड में चलाएं:

./collector-http[.bat|.sh] -a start -c gcs-crawl-config.xml

JEF Monitor की मदद से क्रॉलर की परफ़ॉर्मेंस पर नज़र रखना

Norconex JEF (जॉब एक्ज़ीक्यूशन फ़्रेमवर्क) Monitor, प्रोग्रेस का ग्राफ़िकल व्यू दिखाता है. JEF Monitor की मदद से क्रॉलर की परफ़ॉर्मेंस पर नज़र रखना लेख पढ़ें.