ภาพรวมของหัวข้อการ Crawl และการจัดทำดัชนี

หัวข้อในส่วนนี้อธิบายวิธีที่คุณจะควบคุมความสามารถของ Google ในการค้นหาและแยกวิเคราะห์เนื้อหาของคุณเพื่อแสดงใน Search รวมถึงผลิตภัณฑ์และบริการอื่นๆ ของ Google ได้ ตลอดจนอธิบายวิธีป้องกันไม่ให้ Google ทำการ Crawl เนื้อหาบางอย่างในเว็บไซต์

ต่อไปนี้คือคำอธิบายโดยย่อของแต่ละหน้า หากต้องการดูภาพรวมของการ Crawl และการจัดทําดัชนี โปรดอ่านคู่มือวิธีการทํางานของ Search

หัวข้อ
ประเภทไฟล์ที่ Google จัดทำดัชนีได้	Google สามารถจัดทำดัชนีเนื้อหาของหน้าเว็บและไฟล์โดยส่วนใหญ่ได้ ดูรายการประเภทไฟล์ที่พบบ่อยที่สุดที่ Google Search จัดทําดัชนีได้
โครงสร้าง URL	โปรดพิจารณาจัดระเบียบเนื้อหาเพื่อให้การสร้าง URL เป็นไปอย่างสมเหตุสมผลและมีลักษณะที่มนุษย์เข้าใจได้ง่ายที่สุด
แผนผังเว็บไซต์	บอก Google เกี่ยวกับหน้าต่างๆ ในเว็บไซต์ที่เป็นข้อมูลใหม่หรืออัปเดต
การจัดการ Crawler	ขอให้ Google ทำการ Crawl URL อีกครั้ง การจัดการการ Crawl URL การไปยังส่วนต่างๆ ตามข้อมูลประกอบ คู่มือการจัดการ Crawl Budget สำหรับเจ้าของเว็บไซต์ขนาดใหญ่ รหัสสถานะ HTTP รวมถึงข้อผิดพลาดเกี่ยวกับเครือข่ายและ DNS ส่งผลต่อ Google Search อย่างไร โปรแกรมรวบรวมข้อมูลของ Google
robots.txt	ไฟล์ robots.txt จะบอกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาว่า หน้าเว็บหรือไฟล์ใดในเว็บไซต์ที่โปรแกรมเข้ารวบรวมข้อมูลได้และไม่ได้
การกำหนดหน้า Canonical	ดูว่าการกำหนด Canonical URL คืออะไร และวิธีบอกให้ Google ทราบเกี่ยวกับหน้าที่ซ้ำกันในเว็บไซต์เพื่อหลีกเลี่ยงการ Crawl มากเกินไป ดูวิธีที่ Google ตรวจหาเนื้อหาที่ซ้ำกันโดยอัตโนมัติ วิธีดำเนินการกับเนื้อหาที่ซ้ำกัน และวิธีกำหนด Canonical URL ให้กับกลุ่มหน้าที่ซ้ำกันตามที่พบ
เว็บไซต์ในอุปกรณ์เคลื่อนที่	ดูวิธีเพิ่มประสิทธิภาพเว็บไซต์สําหรับอุปกรณ์เคลื่อนที่และตรวจสอบว่ามีการ Crawl และจัดทําดัชนีได้อย่างถูกต้อง
AMP	หากคุณมีหน้า AMP ให้ดูวิธีที่ AMP ทํางานใน Google Search
JavaScript	มีข้อแตกต่างและข้อจำกัดบางประการที่ต้องคำนึงถึงเมื่อออกแบบหน้าเว็บและแอปพลิเคชันให้รองรับวิธีที่ Crawler เข้าถึงและแสดงเนื้อหาของคุณ
ข้อมูลเมตาของหน้าและเนื้อหา	ใช้ HTML ที่ถูกต้องเพื่อระบุข้อมูลเมตาของหน้า แท็ก meta ทั้งหมดที่ Google เข้าใจ แท็ก meta data-nosnippet ของ Robots และข้อกำหนดของ X-Robots-Tag บล็อกการจัดทําดัชนีด้วยแท็ก meta noindex ทำให้ลิงก์เป็นลิงก์ที่ระบบรวบรวมข้อมูลได้ แก้ไขลิงก์ขาออกไปยัง Google ด้วยแอตทริบิวต์ rel
การนำออก	ควบคุมสิ่งที่คุณแชร์กับ Google นำหน้าเว็บที่โฮสต์ในเว็บไซต์ของคุณออกจาก Google นำรูปภาพที่โฮสต์ในเว็บไซต์ออกจากผลการค้นหา ป้องกันไม่ให้ข้อมูลที่ปกปิดแสดงใน Google Search
การย้ายและการเปลี่ยนแปลงเว็บไซต์	การเปลี่ยนเส้นทางและ Google Search การย้ายเว็บไซต์ ลดผลกระทบจากการทดสอบ A/B ใน Google Search หยุดชั่วคราวหรือปิดใช้เว็บไซต์ชั่วคราว