क्रॉल और इंडेक्स करने से जुड़े विषयों की खास जानकारी

इस सेक्शन में बताया गया है कि आपके कॉन्टेंट को ढूंढने और पार्स करने के लिए Google जो प्रोसेस इस्तेमाल करता है, आप उसे कैसे कंट्रोल कर सकते हैं. इससे आपके कॉन्टेंट को Search और दूसरी 'Google प्रॉपर्टीज़' में दिखाने में मदद मिलती है. इस सेक्शन में यह भी बताया गया है कि आप Google को अपनी साइट के किसी खास कॉन्टेंट को क्रॉल करने से कैसे रोक सकते हैं.

यहां हर पेज के बारे में संक्षेप में जानकारी दी गई है. पूरी जानकारी यहां पढ़ें.

विषय
साइटमैप Google को आपकी साइट के उन पेजों के बारे में बताते हैं जो नए हैं या अपडेट किए गए हैं.
robots.txt robots.txt फ़ाइल की मदद से, सर्च इंजन के क्रॉलर को यह जानकारी मिलती है कि वे आपकी साइट के किन पेजों या फ़ाइलों को क्रॉल करने का अनुरोध कर सकते हैं और किन पेजों को क्रॉल करने का अनुरोध नहीं कर सकते.
मेटा टैग Google के साथ, कई टैग एक्सटेंशन काम करते हैं. ये एक्सटेंशन खोज नतीजों में पेज के दिखने के तरीके और उसके व्यवहार को कंट्रोल करते हैं.
क्रॉलर मैनेजमेंट
हटाने की प्रोसेस
डुप्लीकेट कॉन्टेंट बहुत ज़्यादा क्रॉलिंग से बचने के लिए, Google को अपनी साइट पर मौजूद डुप्लीकेट पेजों के बारे में बताएं. जानें कि Google, डुप्लीकेट कॉन्टेंट का पता कैसे लगाता है, डुप्लीकेट कॉन्टेंट को कैसे इस्तेमाल करता है, और कैसे किसी डुप्लीकेट पेज के ग्रुप के लिए एक कैननिकल पेज तय करता है.
साइट को नए प्लैटफ़ॉर्म या यूआरएल पर ले जाना और उसमें बदलाव करना
अंतरराष्ट्रीय और कई भाषाओं वाली साइटें अगर आपकी साइट पर अलग-अलग भाषाओं में कॉन्टेंट है या अलग-अलग जगहों के लिए अलग-अलग कॉन्टेंट है, तो साइट को समझने में Google की मदद करने का तरीका यहां बताया गया है.
JavaScript कॉन्टेंट अपना पेज और ऐप्लिकेशन डिज़ाइन करते समय, आपको अलग-अलग तरह के क्रॉलर के बीच के अंतर और उनकी सीमाओं का ध्यान रखना होगा. ऐसा इसलिए, ताकि आप कॉन्टेंट को ऐक्सेस और रेंडर करने के उनके तरीके के हिसाब से अपने पेज या ऐप्लिकेशन तैयार कर सकें.