การยืนยัน Googlebot และโปรแกรมรวบรวมข้อมูลอื่นๆ ของ Google

คุณยืนยันได้ว่าโปรแกรมรวบรวมข้อมูลเว็บที่เข้าถึงเซิร์ฟเวอร์ของคุณคือโปรแกรมรวบรวมข้อมูลของ Google เช่น Googlebot จริงไหม วิธีนี้มีประโยชน์หากกังวลว่านักส่งสแปมหรือผู้ไม่ประสงค์ดีอื่นๆ กำลังเข้าถึงเว็บไซต์ของคุณโดยอ้างตัวเป็น Googlebot

การยืนยันโปรแกรมรวบรวมข้อมูลของ Google ทําได้ 2 วิธี ดังนี้

  • ทำด้วยตนเอง: สําหรับการค้นหาแบบครั้งเดียว ให้ใช้เครื่องมือบรรทัดคําสั่ง โดยวิธีนี้เพียงพอแล้วสําหรับ Use Case ส่วนใหญ่
  • ทำโดยอัตโนมัติ: สําหรับการค้นหาขนาดใหญ่ ให้ใช้โซลูชันอัตโนมัติเพื่อจับคู่ที่อยู่ IP ของโปรแกรมรวบรวมข้อมูลกับรายการที่อยู่ IP ของ Googlebot ที่เผยแพร่

ใช้เครื่องมือบรรทัดคำสั่ง

  1. เรียกใช้การค้นหา DNS แบบย้อนกลับกับที่อยู่ IP ที่เข้าถึงจากบันทึกของคุณโดยใช้คำสั่ง host
  2. ยืนยันว่าชื่อโดเมนเป็น googlebot.com หรือ google.com
  3. เรียกใช้การค้นหา DNS แบบส่งต่อกับชื่อโดเมนที่ได้รับในขั้นตอนที่ 1 โดยใช้คำสั่ง host กับชื่อโดเมนที่ได้รับนั้น
  4. จากนั้นตรวจดูว่าชื่อโดเมนที่ได้นั้นเป็นที่อยู่ IP เดิมที่เข้าถึงจากบันทึกของคุณ

ตัวอย่างที่ 1

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

ตัวอย่างที่ 2

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

ใช้โซลูชันอัตโนมัติ

หรือจะระบุ Googlebot ตามที่อยู่ IP ก็ได้ โดยจับคู่ที่อยู่ IP ของโปรแกรมรวบรวมข้อมูลกับรายการที่อยู่ IP ของ Googlebot สําหรับที่อยู่ IP ของ Google อื่นๆ จากจุดที่อาจมีการเข้าถึงเว็บไซต์ของคุณ (เช่น ตามคำขอของผู้ใช้หรือ Apps Script) ให้จับคู่ที่อยู่ IP ที่เข้าถึงกับรายการที่อยู่ IP ของ Google