Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.

Thông tin tổng quan về trình thu thập dữ liệu của Google (tác nhân người dùng)

"Trình thu thập dữ liệu" (đôi khi còn được gọi là "robot" hoặc "spider") là một thuật ngữ chung để chỉ mọi chương trình có chức năng tự động phát hiện và quét các trang web bằng cách đi theo các đường liên kết từ trang web này đến trang web khác. Trình thu thập dữ liệu chính của Google có tên là Googlebot. Bảng này liệt kê thông tin về các trình thu thập dữ liệu phổ biến của Google mà bạn có thể thấy trong nhật ký liên kết giới thiệu, đồng thời hướng dẫn cách chỉ định những trình thu thập dữ liệu đó trong tệp robots.txt, thẻ meta robotslệnh HTTP X-Robots-Tag.

Bảng sau đây cho thấy những trình thu thập dữ liệu mà nhiều sản phẩm và dịch vụ của Google sử dụng:

  • Mã tác nhân người dùng ở dòng User-agent: trong tệp robots.txt được dùng để liên kết với một loại trình thu thập dữ liệu khi viết quy tắc thu thập dữ liệu cho trang web. Một số trình thu thập dữ liệu có nhiều hơn một mã (như trình bày trong bảng). Bạn cần sử dụng duy nhất một mã trình thu thập dữ liệu cho mỗi quy tắc để quy tắc đó có hiệu lực. Danh sách này tuy không đầy đủ nhưng bao gồm hầu hết trình thu thập dữ liệu bạn có thể thấy trên trang web của mình.
  • Chuỗi tác nhân người dùng đầy đủ là phần mô tả đầy đủ về trình thu thập dữ liệu. Chuỗi này xuất hiện trong yêu cầu HTTP và nhật ký web của bạn.

Trình thu thập dữ liệu

APIs-Google

Mã tác nhân người dùng APIs-Google
Chuỗi tác nhân người dùng đầy đủ APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdsBot Mobile Web Android

Kiểm tra chất lượng quảng cáo trên trang web cho Android.

Mã tác nhân người dùng AdsBot-Google-Mobile
Chuỗi tác nhân người dùng đầy đủ Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

Kiểm tra chất lượng quảng cáo trên trang web cho iPhone.

Mã tác nhân người dùng AdsBot-Google-Mobile
Chuỗi tác nhân người dùng đầy đủ Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

Kiểm tra chất lượng quảng cáo trên trang web cho máy tính.

Mã tác nhân người dùng AdsBot-Google
Chuỗi tác nhân người dùng đầy đủ AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense

Mã tác nhân người dùng Mediapartners-Google
Chuỗi tác nhân người dùng đầy đủ Mediapartners-Google

Googlebot Image

Mã tác nhân người dùng
  • Googlebot-Image
  • Googlebot
Chuỗi tác nhân người dùng đầy đủ Googlebot-Image/1.0

Googlebot News

Mã tác nhân người dùng
  • Googlebot-News
  • Googlebot
Chuỗi tác nhân người dùng đầy đủ Tác nhân người dùng Googlebot-News sử dụng nhiều chuỗi tác nhân người dùng Googlebot.

Trung tâm xuất bản của Google

Tìm nạp và xử lý nguồn cấp dữ liệu mà nhà xuất bản cung cấp rõ ràng thông qua Trung tâm xuất bản của Google để sử dụng trong trang đích của Google Tin tức.

Mã tác nhân người dùng GoogleProducer
Chuỗi tác nhân người dùng đầy đủ GoogleProducer; (+http://goo.gl/7y4SX)

Googlebot Video

Mã tác nhân người dùng
  • Googlebot-Video
  • Googlebot
Chuỗi tác nhân người dùng đầy đủ Googlebot-Video/1.0

Googlebot Desktop

Mã tác nhân người dùng Googlebot
Chuỗi tác nhân người dùng đầy đủ
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Smartphone

Mã tác nhân người dùng Googlebot
Chuỗi tác nhân người dùng đầy đủ Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

Mã tác nhân người dùng Mediapartners-Google
Chuỗi tác nhân người dùng đầy đủ (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

Kiểm tra chất lượng quảng cáo trên trang cho ứng dụng Android. Tuân theo quy tắc trong tệp robots đối với AdsBot-Google.

Mã tác nhân người dùng AdsBot-Google-Mobile-Apps
Chuỗi tác nhân người dùng đầy đủ AdsBot-Google-Mobile-Apps

Feedfetcher

Mã tác nhân người dùng FeedFetcher-Google
Chuỗi tác nhân người dùng đầy đủ FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

Mã tác nhân người dùng Google-Read-Aloud
Chuỗi tác nhân người dùng đầy đủ

Những tác nhân hiện có:

  • Tác nhân cho máy tính:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)
  • Tác nhân cho thiết bị di động:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers)

Tác nhân cũ (không dùng nữa):

google-speakr

Google Favicon

Mã tác nhân người dùng
  • Googlebot-Image
  • Googlebot
Chuỗi tác nhân người dùng đầy đủ Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Google StoreBot

Mã tác nhân người dùng Storebot-Google
Chuỗi tác nhân người dùng đầy đủ
  • Tác nhân cho máy tính:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • Tác nhân cho thiết bị di động:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Google Site Verifier

Mã tác nhân người dùng Google-Site-Verification
Chuỗi tác nhân người dùng đầy đủ Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

Lưu ý về Chrome/W.X.Y.Z trong tác nhân người dùng

Nếu bạn thấy chuỗi Chrome/W.X.Y.Z trong chuỗi tác nhân người dùng nêu trong bảng trên, thì W.X.Y.Z thực ra là phần giữ chỗ đại diện cho phiên bản trình duyệt Chrome mà tác nhân người dùng đó sử dụng, ví dụ: 41.0.2272.96. Mã số phiên bản này sẽ tăng theo thời gian để khớp với phiên bản phát hành Chromium mới nhất mà Googlebot sử dụng.

Nếu bạn đang lọc hoặc tìm tác nhân người dùng có mẫu này trong nhật ký máy chủ, hãy sử dụng ký tự đại diện cho mã số phiên bản thay vì chỉ định một mã số phiên bản chính xác.

Tác nhân người dùng trong tệp robots.txt

Trong trường hợp tệp robots.txt ghi nhận nhiều tác nhân người dùng, Google sẽ tuân theo tác nhân cụ thể nhất. Nếu bạn muốn mọi trình thu thập dữ liệu của Google đều có thể thu thập dữ liệu các trang của bạn, thì bạn hoàn toàn không cần dùng tệp robots.txt. Nếu bạn muốn chặn hoặc cho phép mọi trình thu thập dữ liệu của Google truy cập một số nội dung, bạn có thể thực hiện bằng cách chỉ định Googlebot làm tác nhân người dùng. Ví dụ: nếu bạn muốn tất cả các trang của bạn xuất hiện trên Google Tìm kiếm và muốn quảng cáo AdSense xuất hiện trên các trang của mình thì bạn không cần dùng tệp robots.txt. Tương tự như vậy, nếu bạn muốn chặn hoàn toàn một số trang khỏi Google, việc chặn tác nhân người dùng Googlebot cũng sẽ chặn mọi tác nhân người dùng khác của Google.

Tuy nhiên, bạn có thể thiết lập chi tiết hơn nếu muốn kiểm soát cụ thể hơn. Ví dụ: có thể bạn muốn toàn bộ các trang của mình xuất hiện trên Google Tìm kiếm, nhưng lại không muốn Google thu thập dữ liệu hình ảnh trong thư mục cá nhân của bạn. Trong trường hợp này, hãy sử dụng tệp robots.txt để không cho phép tác nhân người dùng Googlebot-Image thu thập dữ liệu các tệp trong thư mục cá nhân của bạn (nhưng vẫn cho phép Googlebot thu thập dữ liệu mọi tệp), chẳng hạn như sau:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Trong một ví dụ khác, giả sử bạn muốn có quảng cáo trên tất cả các trang của bạn, nhưng bạn không muốn những trang đó xuất hiện trong Google Tìm kiếm. Trong trường hợp này, bạn cần chặn Googlebot trong khi vẫn cho phép tác nhân người dùng Mediapartners-Google, chẳng hạn như sau:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Tác nhân người dùng trong thẻ meta của robots

Có một số trang dùng nhiều thẻ meta của robots để chỉ định các quy tắc cho các trình thu thập dữ liệu, chẳng hạn như sau:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Trong trường hợp này, Google sẽ sử dụng kết hợp các quy tắc cấm và Googlebot sẽ tuân theo cả hai quy tắc noindexnofollow. Xem thông tin chi tiết hơn về việc kiểm soát cách Google thu thập dữ liệu và lập chỉ mục trang web của bạn.

Kiểm soát tốc độ thu thập dữ liệu

Mỗi trình thu thập dữ liệu của Google lại truy cập các trang web cho một mục đích cụ thể và với tốc độ riêng. Google sử dụng các thuật toán để xác định tốc độ thu thập dữ liệu tối ưu cho từng trang web. Nếu trình thu thập dữ liệu của Google thu thập dữ liệu quá thường xuyên trên trang web của bạn, thì bạn có thể giảm tốc độ thu thập dữ liệu.

Trình thu thập dữ liệu mà Google đã gỡ bỏ

Các trình thu thập dữ liệu sau đây của Google không còn được sử dụng nữa mà chỉ được ghi chú tại đây để tham khảo thông tin theo thời gian.

Trình thu thập dữ liệu mà Google đã gỡ bỏ

Duplex trên web

Từng trợ dịch vụ Duplex trên web.

Mã tác nhân người dùng DuplexWeb-Google
Chuỗi tác nhân người dùng đầy đủ Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Web Light

Từng kiểm tra sự hiện diện của tiêu đề no-transform mỗi khi người dùng nhấp vào trang của bạn trong kết quả tìm kiếm trong điều kiện thích hợp. Tác nhân người dùng Web Light chỉ được sử dụng cho các yêu cầu duyệt web rõ ràng của khách truy cập là người thật. Vì thế, tác nhân này có thể bỏ qua các quy tắc trong tệp robots.txt (dùng để chặn các yêu cầu thu thập dữ liệu tự động).

Mã tác nhân người dùng googleweblight
Chuỗi tác nhân người dùng đầy đủ Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19