จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ

ภาพรวมโปรแกรมรวบรวมข้อมูลของ Google (User Agent)

"โปรแกรมรวบรวมข้อมูล" (บางครั้งเรียกว่า "โรบ็อต" หรือ "สไปเดอร์") เป็นคําทั่วไปที่ใช้เรียกโปรแกรมสํารวจและสแกนเว็บไซต์ด้วยการติดตามลิงก์จากหน้าเว็บหนึ่งไปยังอีกหน้าเว็บหนึ่งโดยอัตโนมัติ โปรแกรมรวบรวมข้อมูลหลักของ Google เรียกว่า Googlebot ตารางนี้แสดงรายละเอียดโปรแกรมรวบรวมข้อมูลทั่วไปของ Google ที่อาจพบในบันทึกผู้อ้างอิง และวิธีระบุโปรแกรมดังกล่าวไว้ใน robots.txt, เมตาแท็ก robots และคำสั่ง HTTP ของ X-Robots-Tag

ตารางต่อไปนี้แสดงโปรแกรมรวบรวมข้อมูลที่ผลิตภัณฑ์และบริการต่างๆ ใช้ที่ Google

  • โทเค็น User Agent จะใช้ในบรรทัด User-agent: ของ robots.txt เพื่อจับคู่กับประเภทโปรแกรมรวบรวมข้อมูลเมื่อเขียนกฎการรวบรวมข้อมูลสำหรับเว็บไซต์ โปรแกรมรวบรวมข้อมูลบางตัวมีมากกว่า 1 โทเค็นดังที่แสดงในตาราง คุณต้องจับคู่โทเค็นของโปรแกรมรวบรวมข้อมูลเพียง 1 โปรแกรมเท่านั้นเพื่อใช้กฎ รายการนี้ไม่สมบูรณ์ แต่ครอบคลุมโปรแกรมรวบรวมข้อมูลส่วนใหญ่ที่อาจเห็นในเว็บไซต์
  • สตริง User Agent แบบเต็มเป็นคำอธิบายแบบเต็มของโปรแกรมรวบรวมข้อมูล และจะปรากฏในคำขอ HTTP และบันทึกการใช้เว็บ

โปรแกรมรวบรวมข้อมูล

APIs-Google
โทเค็น User Agent APIs-Google
สตริง User Agent แบบเต็ม APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdsBot Mobile Web Android

ตรวจสอบคุณภาพโฆษณาในหน้าเว็บของ Android

โทเค็น User Agent AdsBot-Google-Mobile
สตริง User Agent แบบเต็ม Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

ตรวจสอบคุณภาพโฆษณาในหน้าเว็บของ iPhone

โทเค็น User Agent AdsBot-Google-Mobile
สตริง User Agent แบบเต็ม Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

ตรวจสอบคุณภาพโฆษณาในหน้าเว็บของเดสก์ท็อป

โทเค็น User Agent AdsBot-Google
สตริง User Agent แบบเต็ม AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense
โทเค็น User Agent Mediapartners-Google
สตริง User Agent แบบเต็ม Mediapartners-Google

Googlebot Image
โทเค็น User Agent
  • Googlebot-Image
  • Googlebot
สตริง User Agent แบบเต็ม Googlebot-Image/1.0

Googlebot News
โทเค็น User Agent
  • Googlebot-News
  • Googlebot
สตริง User Agent แบบเต็ม User Agent ของ Googlebot-News ใช้สตริง User Agent หลายรายการของ Googlebot

Googlebot Video
โทเค็น User Agent
  • Googlebot-Video
  • Googlebot
สตริง User Agent แบบเต็ม Googlebot-Video/1.0

Googlebot Desktop
โทเค็น User Agent Googlebot
สตริง User Agent แบบเต็ม
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Smartphone
โทเค็น User Agent Googlebot
สตริง User Agent แบบเต็ม Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense
โทเค็น User Agent Mediapartners-Google
สตริง User Agent แบบเต็ม (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

ตรวจสอบคุณภาพโฆษณาในหน้าแอป Android ปฏิบัติตามกฎของโรบ็อต AdsBot-Google

โทเค็น User Agent AdsBot-Google-Mobile-Apps
สตริง User Agent แบบเต็ม AdsBot-Google-Mobile-Apps

Feedfetcher

โทเค็น User Agent FeedFetcher-Google
สตริง User Agent แบบเต็ม FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google อ่านออกเสียง

โทเค็น User Agent Google-Read-Aloud
สตริง User Agent แบบเต็ม

Agent ปัจจุบัน:

  • Agent ในเดสก์ท็อป:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)
  • Agent ในอุปกรณ์เคลื่อนที่:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)

Agent เดิม (เลิกใช้งาน):

google-speakr

Google Favicon
โทเค็น User Agent
  • Googlebot-Image
  • Googlebot
สตริง User Agent แบบเต็ม Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Google StoreBot
โทเค็น User Agent Storebot-Google
สตริง User Agent แบบเต็ม
  • Agent ในเดสก์ท็อป:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • Agent ในอุปกรณ์เคลื่อนที่:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

เครื่องมือตรวจสอบเว็บไซต์จาก Google Sites
โทเค็น User Agent Google-Site-Verification
สตริง User Agent แบบเต็ม Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

หมายเหตุเกี่ยวกับChrome/W.X.Y.Z ใน User Agent

เมื่อใดที่เห็นสตริง Chrome/W.X.Y.Z ในสตริง User Agent ในตาราง W.X.Y.Z คือตัวยึดตำแหน่งจริงๆ ที่แสดงถึงเวอร์ชันของเบราว์เซอร์ Chrome ที่ใช้โดย User Agent ดังกล่าว เช่น 41.0.2272.96 หมายเลขเวอร์ชันนี้จะเพิ่มขึ้นเมื่อเวลาผ่านไปเพื่อจับคู่กับ Chromium เวอร์ชันที่เผยแพร่ล่าสุดซึ่ง Googlebot ใช้

หากกำลังค้นหาบันทึกหรือกรองเซิร์ฟเวอร์สำหรับ User Agent ที่มีรูปแบบนี้ ให้ใช้ไวลด์การ์ดหมายเลขเวอร์ชันแทนการระบุหมายเลขเวอร์ชันที่ถูกต้อง

User Agent ใน robots.txt

เมื่อระบบรู้จัก User Agent หลายตัวในไฟล์ robots.txt แล้ว Google จะดำเนินการตาม User Agent ที่เจาะจงที่สุด หากต้องการให้โปรแกรมของ Google ทั้งหมดรวบรวมข้อมูลหน้าเว็บได้ คุณไม่จำเป็นต้องใช้ไฟล์ robots.txt เลย แต่หากต้องการบล็อกหรืออนุญาตให้เข้าถึงเนื้อหาบางส่วน สามารถทำได้โดยระบุ Googlebot เป็น User Agent ตัวอย่างเช่น ไม่จำเป็นต้องใช้ไฟล์ robots.txt หากต้องการให้หน้าทั้งหมดปรากฏใน Google Search และหากต้องการให้โฆษณา AdSense ปรากฏในหน้า เช่นเดียวกัน หากต้องการบล็อกไม่ให้ Google เข้าถึงบางหน้าโดยสมบูรณ์ การบล็อก User Agent ของ Googlebot จะบล็อก User Agent อื่นๆ ทั้งหมดของ Google ด้วย

แต่หากต้องการการควบคุมที่ละเอียดยิ่งขึ้น คุณระบุให้เจาะจงกว่าเดิมได้ ตัวอย่างเช่น คุณอาจต้องการให้หน้าทั้งหมดปรากฏใน Google Search แต่ไม่ต้องการให้มีการรวบรวมข้อมูลรูปภาพในไดเรกทอรีส่วนตัว ในกรณีนี้ ให้ใช้ robots.txt เพื่อไม่อนุญาตให้ User Agent ของ Googlebot-Image รวบรวมข้อมูลไฟล์ในไดเรกทอรีส่วนตัว (แต่อนุญาตให้ Googlebot รวบรวมข้อมูลไฟล์ทั้งหมด) ดังต่อไปนี้ 

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

อีกตัวอย่างหนึ่ง เช่น สมมติว่าต้องการแสดงโฆษณาในหน้าทั้งหมด แต่ไม่ต้องการให้หน้าเหล่านั้นปรากฏใน Google Search คุณบล็อก Googlebot แต่อนุญาต User Agent ของ Mediapartners-Google ได้ดังต่อไปนี้ 

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

User Agent ในเมตาแท็ก robots

บางหน้าจะใช้เมตาแท็ก robots หลายตัวเพื่อระบุคำสั่งสำหรับโปรแกรมรวบรวมข้อมูลต่างๆ ดังต่อไปนี้ 

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

ในกรณีนี้ Google จะใช้ผลรวมของคำสั่งเชิงลบ และ Googlebot จะทำตามทั้งคำสั่ง noindex และ nofollow ข้อมูลโดยละเอียดเพิ่มเติมเกี่ยวกับการควบคุมวิธีที่ Google รวบรวมข้อมูลและจัดทำดัชนีเว็บไซต์

การควบคุมความเร็วในการรวบรวมข้อมูล

โปรแกรมรวบรวมข้อมูลของ Google แต่ละโปรแกรมจะเข้าถึงเว็บไซต์เพื่อวัตถุประสงค์เฉพาะในอัตราที่ต่างกัน Google ใช้อัลกอริทึมเพื่อกำหนดอัตราการรวบรวมข้อมูลที่เหมาะสมสำหรับแต่ละเว็บไซต์ หากโปรแกรมรวบรวมข้อมูลของ Google รวบรวมข้อมูลเว็บไซต์ของคุณบ่อยเกินไป คุณลดอัตราการรวบรวมข้อมูลได้

Crawler ของ Google ที่เลิกใช้แล้ว

Crawler ของ Google ต่อไปนี้ไม่ได้ใช้งานอีกต่อไป และมีการบันทึกไว้ที่นี่เพื่อเป็นประวัติอ้างอิงเท่านั้น

Crawler ของ Google ที่เลิกใช้แล้ว

Duplex on the web

รองรับบริการ Duplex on the web

โทเค็น User Agent DuplexWeb-Google
สตริง User Agent แบบเต็ม Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Web Light

ตรวจสอบว่ามีส่วนหัว no-transform แสดงขึ้นมาหรือไม่เมื่อใดก็ตามที่ผู้ใช้คลิกหน้าของคุณในการค้นหาภายใต้เงื่อนไขที่เหมาะสม ระบบใช้ User Agent ของ Web Light เฉพาะสำหรับคำขอการเรียกดูที่ชัดแจ้งของบุคคลที่เข้าชม ดังนั้นจึงไม่สนใจกฎ robots.txt ที่ใช้เพื่อบล็อกคำขอรวบรวมข้อมูลอัตโนมัติได้

โทเค็น User Agent googleweblight
สตริง User Agent แบบเต็ม Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19