Google จะตรวจสอบว่าลิงก์การดำเนินการที่ระบุใช้งานได้และเป็นไปตาม นโยบายการดำเนินการในสถานที่ เพื่อให้มั่นใจว่าผู้ใช้จะได้รับประสบการณ์ที่ดี โดย Google จะใช้การตรวจสอบทั้งโดยเจ้าหน้าที่และการตรวจสอบแบบอัตโนมัติ
การตรวจสอบโดยเจ้าหน้าที่
Google มีทีมที่ทำงานอยู่ทั่วโลก เราขอแนะนำให้คุณไม่บล็อกลิงก์การดำเนินการในภูมิภาคเหล่านี้เพื่อให้การเริ่มต้นใช้งานและการสนับสนุนหลังเปิดตัวเป็นไปอย่างทันท่วงที
การตรวจสอบอัตโนมัติ (Crawler)
Crawler อัตโนมัติจะเข้าถึงลิงก์การดำเนินการเป็นระยะๆ เพื่อยืนยันว่าหน้าเว็บโหลดอย่างถูกต้อง หาก Crawler ได้รับรหัสสถานะ HTTP 4xx หรือ 5xx (เช่น 403 Forbidden หรือ 404 Not Found) ระบบจะทำเครื่องหมายว่าลิงก์เสียหรือไม่สามารถเข้าถึงได้ และปิดใช้ลิงก์ดังกล่าวจาก Google Search และ Maps
การตรวจหา Web Crawler และการกำหนดค่าไฟร์วอลล์
ตรวจสอบว่าไฟร์วอลล์สำหรับเว็บแอปพลิเคชัน (WAF), เครือข่ายนำส่งข้อมูล (CDN) หรือกฎการจำกัด IP อนุญาตให้ Crawler ของเราค้นหาหน้าเว็บของคุณได้ตลอดเวลา เพื่อให้มั่นใจว่า Web Crawler จะไม่ถูกบล็อก (ซึ่งจะทำให้ลิงก์การดำเนินการถูกปิดใช้)
วิธีระบุและเลิกบล็อก Crawler ของ Google
- Crawler ของศูนย์การดำเนินการ: User-Agent จะมีสตริง
Google-Actions-Center(เช่นMozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google-Actions-Center) Chrome/104.0.5112.101 Safari/537.36) การเรียกจะมาจากชื่อโฮสต์พร็อกซี ที่เป็นไปตามรูปแบบgoogle-proxy-***-***-***-***.google.com - Crawler ของ Googlebot: Crawler สำหรับยืนยันลิงก์จะใช้สตริง User-Agent ของ Googlebot มาตรฐานด้วย
- การยืนยัน: คุณสามารถยืนยันว่าคำขอขาเข้ามาจาก
Google จริงๆ โดยใช้การค้นหา DNS แบบย้อนกลับ (
*.googlebot.comหรือ*.google.com) ตามที่ อธิบายไว้ใน "การยืนยัน Googlebot และ Crawler อื่นๆ ของ Google" - การทดสอบความสามารถในการ Crawl: คุณสามารถใช้ เครื่องมือตรวจสอบ URL ใน Google Search Console เพื่อทดสอบว่า Googlebot สามารถ Crawl และแสดงหน้าเว็บของคุณได้สำเร็จแบบเรียลไทม์หรือไม่ วาง URL แบบเต็มลงในแถบค้นหาที่ด้านบนของ Google Search Console กด Enter แล้วคลิกทดสอบ URL ที่เผยแพร่อยู่ เพื่อดูข้อมูลการ Crawl การแสดงผล และการจัดทำดัชนีแบบเรียลไทม์
หากลิงก์การดำเนินการถูกปิดใช้เนื่องจากข้อผิดพลาดของ Crawler การอัปเดตการตั้งค่าเซิร์ฟเวอร์หรือไฟร์วอลล์เพื่อให้คำขอจาก Crawler ของ Google แสดงผล 200 OK จะช่วยให้การยืนยันซ้ำอัตโนมัติล้างการบล็อกและกู้คืนลิงก์โดยอัตโนมัติ
คำขอให้นำออกใน Google Search Console
นอกจากการตรวจสอบอัตโนมัติของ Crawler แล้ว ระบบอาจปิดใช้ลิงก์หากเจ้าของโดเมนส่งคำขอให้นำ URL หรือโดเมนที่ใช้งานอยู่ออกใน Google Search Console
หากลิงก์การดำเนินการไม่ปรากฏขึ้นแม้ว่า Crawler ของ Google จะแสดงผล 200 OK ให้ตรวจสอบ Google Search Console เพื่อยืนยันว่ามีการส่งคำขอให้นำโดเมนหรือ URL ของคุณออกหรือไม่ และยกเลิกคำขอให้นำออกที่ล้าสมัยหรือใช้งานอยู่โดยใช้ เครื่องมือนำออกของ Search Console
กำลังแคช
Crawler ของเราได้รับการกำหนดค่าโดยทั่วไปให้ปฏิบัติตามส่วนหัวการแคช HTTP มาตรฐานทั้งหมดที่อยู่ในคำตอบ เพื่อลดภาระงานในเว็บไซต์พาร์ทเนอร์ ซึ่งหมายความว่าเราจะหลีกเลี่ยงการดึงเนื้อหาที่เปลี่ยนแปลงไม่บ่อยนัก (เช่น ไลบรารี JavaScript) ซ้ำๆ สำหรับเว็บไซต์ที่กำหนดค่าอย่างถูกต้อง อ่านเอกสารประกอบการแคช HTTP นี้เพื่อดูรายละเอียดเพิ่มเติมเกี่ยวกับวิธี ใช้การแคช