Google 檢索器和擷取程式 (使用者代理程式) 總覽

Google 會使用檢索器和擷取程式對產品執行動作,無論動作是自動或由使用者要求觸發。

「檢索器」(有時也稱為「漫遊器」或「自動尋檢程式」) 泛指任何透過網頁間連結來自動尋找並檢索網站的程式。Google 搜尋使用的主要檢索器稱為 Googlebot

擷取程式 (例如瀏覽器) 會在使用者提示時,要求單一網址。

下表列出了各種產品和服務使用的 Google 檢索器和擷取程式、在參照記錄中的呈現方式,以及如何在 robots.txt 中指定這些工具。 這份清單並不完整,僅涵蓋記錄檔中可能出現的最常見檢索器和擷取程式。

  • 使用者代理程式符記能夠比對特定類型的檢索器,請在編寫網站的檢索規則時,在 robots.txt 的 User-agent: 行使用這個值。如下表所示,有些檢索器具有多個符記;只要有一個檢索器符記相符,規則就會生效。以下清單並不完整,但已涵蓋可能會檢索網站的大部分檢索器。
  • 完整的使用者代理程式字串是檢索器的完整說明,會出現在 HTTP 要求和您的網路記錄中。

常見檢索器

Google 的常見檢索器可用於建構 Google 搜尋索引、執行其他產品專屬的檢索作業,以及進行分析。這些檢索器一律都會遵循 robots.txt 規則,而且通常會從 googlebot.json 物件中發布的 IP 範圍進行檢索。

常見檢索器

Googlebot Smartphone

使用者代理程式符記 Googlebot
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot Desktop

使用者代理程式符記 Googlebot
完整的使用者代理程式字串
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • 鮮少:
    • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Image

用於檢索以圖片為基礎的 Google 圖片和產品圖片位元組。

使用者代理程式符記
  • Googlebot-Image
  • Googlebot
完整的使用者代理程式字串 Googlebot-Image/1.0

Googlebot News

Googlebot News 使用 Googlebot 檢索新聞文章,但會遵循歷來使用者代理程式符記「Googlebot-News」。

使用者代理程式符記
  • Googlebot-News
  • Googlebot
完整的使用者代理程式字串 Googlebot-News 使用者代理程式會使用各種 Googlebot 使用者代理程式字串

Googlebot Video

用於檢索以影片為基礎的 Google 影片和產品影片位元組。

使用者代理程式符記
  • Googlebot-Video
  • Googlebot
完整的使用者代理程式字串 Googlebot-Video/1.0

Google StoreBot

Google StoreBot 會檢索特定類型的頁面,包括但不限於產品詳細資料頁面、購物車頁面和結帳頁面。

使用者代理程式符記 Storebot-Google
完整的使用者代理程式字串
  • 電腦版代理程式:
    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
  • 行動裝置版代理程式:
    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Google-InspectionTool

Google-InspectionTool 是搜尋測試工具使用的檢索器,例如 Search Console 中的複合式搜尋結果測試網址檢查。除了使用者代理程式和使用者代理程式符記以外,它也會模擬 Googlebot。

使用者代理程式符記
  • Google-InspectionTool
  • Googlebot
完整的使用者代理程式字串
  • 行動裝置版
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
  • 電腦版
    Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)

GoogleOther

GoogleOther 是通用檢索器,可供許多產品團隊從網站中擷取能公開存取的內容,例如用來針對內部研究與開發進行一次性檢索作業。

使用者代理程式符記 GoogleOther
完整的使用者代理程式字串 GoogleOther

Google-Extended

網站發布商可使用的獨立產品符記 Google-Extended,用於管理網站是否有助於改善 Gemini 系列應用程式和 Vertex AI 生成式 API,包括可強化這些產品的新一代模型。 Google-Extended 不會影響網站在 Google 搜尋中的收錄情形或排名。

使用者代理程式符記 Google-Extended
完整的使用者代理程式字串 Google-Extended 沒有獨立的 HTTP 要求使用者代理程式字串。檢索作業是使用現有的 Google 使用者代理程式字串完成。robots.txt 使用者代理程式符記則是用於控管控制權。

特殊情況檢索器

如果在接受檢索的網站和產品之間有針對檢索程序制定協議,特定產品就會使用特殊情況檢索器。舉例來說,AdsBot 會忽略具有廣告發布商權限的全域 robots.txt 使用者代理程式 (*)。特殊情況檢索器可能會忽略 robots.txt 規則,因此運作的 IP 範圍與常見檢索器不同。IP 範圍會發布到 special-crawlers.json 物件中。

特殊情況檢索器

APIs-Google

Google API 會使用這個工具傳送推播通知訊息。在 robots.txt 中忽略全域使用者代理程式 (*)。

使用者代理程式符記 APIs-Google
完整的使用者代理程式字串 APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdsBot Mobile Web Android

檢查 Android 網頁廣告品質。在 robots.txt 中忽略全域使用者代理程式 (*)。

使用者代理程式符記 AdsBot-Google-Mobile
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot 行動網路

檢查 iPhone 網頁廣告品質。在 robots.txt 中忽略全域使用者代理程式 (*)。

使用者代理程式符記 AdsBot-Google-Mobile
完整的使用者代理程式字串 Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

檢查電腦版網頁廣告品質。在 robots.txt 中忽略全域使用者代理程式 (*)。

使用者代理程式符記 AdsBot-Google
完整的使用者代理程式字串 AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense

AdSense 檢索器會造訪您的網站並判斷其內容,以便提供相關廣告。在 robots.txt 中忽略全域使用者代理程式 (*)。

使用者代理程式符記 Mediapartners-Google
完整的使用者代理程式字串 Mediapartners-Google

Mobile AdSense

行動版 AdSense 檢索器會造訪您的網站並判斷其內容,以便提供相關廣告。在 robots.txt 中忽略全域使用者代理程式 (*)。

使用者代理程式符記 Mediapartners-Google
完整的使用者代理程式字串 (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Google 安全性

Google 安全性使用者代理程式會處理特定濫用行為的檢索作業,例如找出 Google 資源上公開發布連結包含的惡意軟體。這個使用者代理程式會忽略 robots.txt 規則。

完整的使用者代理程式字串 Google-Safety

使用者觸發的擷取程式

使用者觸發的擷取程式,是由使用者觸發執行產品專屬函式。舉例來說,Google 網站驗證工具就是依據使用者的要求而行動。由於擷取動作是由使用者提出要求,因此擷取程式通常會忽略 robots.txt 規則。 使用者觸發的擷取程式使用的 IP 範圍會發布在 user-triggered-fetchers.json 物件中。

使用者觸發的擷取程式

Feedfetcher

Feedfetcher 可用來檢索 Google 播客、Google 新聞和 PubSubHubbub 的 RSS 或 Atom 動態消息。

使用者代理程式符記 FeedFetcher-Google
完整的使用者代理程式字串 FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google 新聞發布者中心

透過 Google 新聞發布者中心擷取並處理發布商明確提供的動態消息,以便在 Google 新聞到達網頁中使用。

完整的使用者代理程式字串 GoogleProducer; (+http://goo.gl/7y4SX)

Google Read Aloud

使用者提出要求時,Google Read Aloud 會使用文字轉語音 (TTS) 功能擷取並朗讀網頁。

完整的使用者代理程式字串

現行代理程式

  • 電腦版代理程式:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • 行動裝置版代理程式:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

舊版代理程式 (已淘汰)

google-speakr

Google 網站驗證工具

Google 網站驗證工具會在使用者要求 Search Console 驗證權杖時進行擷取。

完整的使用者代理程式字串 Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

使用者代理程式中的 Chrome/W.X.Y.Z 相關注意事項

上表中有些使用者代理程式字串含有 Chrome/W.X.Y.Z,其中的 W.X.Y.Z 其實是預留位置,代表該使用者代理程式使用的 Chrome 瀏覽器版本,例如:41.0.2272.96。由於 Googlebot 會使用最新發布版的 Chromium,此版本號碼也會隨之日漸遞增。

在搜尋記錄或篩選伺服器時,如果想要運用這個格式來尋找使用者代理程式,請以萬用字元取代版本號碼,不要指定明確的版本號碼。

robots.txt 中的使用者代理程式

如果 Google 在 robots.txt 檔案中發現多個使用者代理程式,將會採用檢索條件最詳細者。如果想讓所有的 Google 檢索器都能檢索您的網頁,其實就不需要使用 robots.txt 檔案;如果要封鎖或允許所有 Google 檢索器存取您網站的部分內容,請將使用者代理程式指定為 Googlebot。舉例來說,如果想讓 Google 搜尋顯示您所有的網頁,並在頁面中顯示 AdSense 廣告,就不需要使用 robots.txt。同樣地,如果完全不想讓 Google 檢索某些網頁,只要封鎖 Googlebot 使用者代理程式,就能一併封鎖所有其他 Google 使用者代理程式。

不過,您也可以指定更明確的檢索條件,進一步管理搜尋結果。例如,您可能希望所有的網頁都出現在 Google 搜尋結果中,但不要 Google 檢索您個人目錄內的圖片。這時候,可使用 robots.txt 禁止 Googlebot-Image 使用者代理程式檢索您個人目錄內的檔案,同時允許 Googlebot 檢索所有檔案。範例如下:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

又或者,您希望在所有網頁中顯示廣告,但不想讓 Google 搜尋顯示這些網頁,那我們建議您封鎖 Googlebot,但允許 Mediapartners-Google 使用者代理程式。範例如下:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

控管檢索速度

每個 Google 檢索器都是基於特定目的存取網站,且檢索頻率不盡相同。Google 會使用演算法判斷每個網站的最佳檢索頻率,如果 Google 檢索器太常檢索您的網站,您可以降低檢索頻率

已淘汰的 Google 檢索器

下列 Google 檢索器已停用,僅列於此供您參考。

已淘汰的 Google 檢索器

Duplex 網頁版

支援 Duplex 網頁版服務。

使用者代理程式符記 DuplexWeb-Google
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Web Light

在符合適當條件的狀態下,當使用者在搜尋結果中點選您的網頁時,系統會檢查是否有 no-transform 標頭。Web Light 使用者代理程式僅會用在真人訪客提出的明確瀏覽要求,因此會忽略 robots.txt 規則 (這類規則的用途是封鎖自動檢索要求)。

使用者代理程式符記 googleweblight
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Android 版行動應用程式

檢查 Android 應用程式版網頁廣告品質,遵循 AdsBot-Google 漫遊器規則,但會忽略 robots.txt 中的全域使用者代理程式 (*)。

使用者代理程式符記 AdsBot-Google-Mobile-Apps
完整的使用者代理程式字串 AdsBot-Google-Mobile-Apps

Google Favicon

使用者代理程式符記
  • Googlebot-Image
  • Googlebot
完整的使用者代理程式字串 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon