Google 檢索器 (使用者代理程式) 總覽

「檢索器」一詞是指任何透過追蹤網頁連結來尋找、掃描網站內容的程式,例如漫遊器或自動尋檢程式。 Google 使用的主要檢索器是 Googlebot。下表列出了參照記錄中可能會出現的常見 Google 檢索器,以及如何在 robots.txt漫遊器中繼標記X-Robots-Tag HTTP 指令中指定這些檢索器的相關資訊。

下表列出了各種 Google 產品和服務使用的檢索器:

  • 使用者代理程式符記能夠比對特定類型的檢索器,請在編寫網站的檢索規則時,在 robots.txt 的 User-agent: 行使用這個值。如下表所示,有些檢索器具有多個符記;比對這類檢索器時,只要符合其中一個檢索器符記即可套用規則。請注意,這份清單並不完整,但已涵蓋大部分可能在網站中出現的檢索器。
  • 完整的使用者代理程式字串是檢索器的完整說明,會出現在檢索要求和您的伺服器記錄中。

檢索器

APIs-Google

使用者代理程式權杖 APIs-Google
完整的使用者代理程式字串 APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdSense

使用者代理程式權杖 Mediapartners-Google
完整的使用者代理程式字串 Mediapartners-Google

AdsBot Mobile Web Android

檢查 Android 裝置網頁廣告品質

使用者代理程式權杖 AdsBot-Google-Mobile
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

檢查 iPhone 網頁廣告品質

使用者代理程式權杖 AdsBot-Google-Mobile
完整的使用者代理程式字串 Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

檢查電腦版網頁廣告品質

使用者代理程式權杖 AdsBot-Google
完整的使用者代理程式字串 AdsBot-Google (+http://www.google.com/adsbot.html)

Googlebot Image

使用者代理程式權杖
  • Googlebot-Image
  • Googlebot
完整的使用者代理程式字串 Googlebot-Image/1.0

Googlebot News

使用者代理程式權杖
  • Googlebot-News
  • Googlebot
完整的使用者代理程式字串 Googlebot-News

Googlebot Video

使用者代理程式權杖
  • Googlebot-Video
  • Googlebot
完整的使用者代理程式字串 Googlebot-Video/1.0

Googlebot Desktop

使用者代理程式權杖 Googlebot
完整的使用者代理程式字串
  • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot Smartphone

使用者代理程式權杖 Googlebot
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mobile AdSense

使用者代理程式權杖 Mediapartners-Google
完整的使用者代理程式字串 (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Mobile Apps Android

檢查 Android 應用程式版網頁廣告品質,遵循 AdsBot-Google 漫遊器規則。

使用者代理程式權杖 AdsBot-Google-Mobile-Apps
完整的使用者代理程式字串 AdsBot-Google-Mobile-Apps

Feedfetcher

使用者代理程式權杖 FeedFetcher-Google
完整的使用者代理程式字串 FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Read Aloud

使用者代理程式權杖 Google-Read-Aloud
完整的使用者代理程式字串

現行代理程式

  • 電腦版代理程式:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)
  • 行動裝置版代理程式:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers)

前任代理程式 (已淘汰)

google-speakr

Duplex on the web

使用者代理程式權杖 DuplexWeb-Google
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

Google Favicon

使用者代理程式權杖 Google Favicon
完整的使用者代理程式字串 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Web Light

使用者代理程式權杖 googleweblight
完整的使用者代理程式字串 Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

Google StoreBot

使用者代理程式權杖 Storebot-Google
完整的使用者代理程式字串
  • 電腦版代理程式:

    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36

  • 行動裝置版代理程式:

    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

robots.txt 中的使用者代理程式

如果 Google 在 robots.txt 檔案中發現多個使用者代理程式,將會採用檢索條件最詳細者。如果想讓所有的 Google 檢索器都能檢索您的網頁,就完全不必使用 robots.txt 檔案;如果要封鎖或允許所有 Google 檢索器存取您網站的部分內容,請將使用者代理程式指定為 Googlebot。舉例來說,如果想讓 Google 搜尋顯示您所有的網頁,並在頁面中顯示 AdSense 廣告,就不需要使用 robots.txt。同樣地,如果完全不想讓 Google 檢索某些網頁,只要封鎖 Googlebot 使用者代理程式,就能一併封鎖所有其他 Google 使用者代理程式。

不過,您也可以指定更明確的檢索條件,進一步管理搜尋結果。例如,您可能希望所有的網頁都出現在 Google 搜尋結果中,但不要 Google 檢索您個人目錄下的圖片。這時候,可使用 robots.txt 禁止 Googlebot-Image 使用者代理程式檢索您個人目錄下的檔案,同時允許 Googlebot 檢索所有檔案,範例如下:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

再舉另一個例子,假如希望在所有網頁中顯示廣告,但不想讓 Google 搜尋顯示這些網頁,則可以封鎖 Googlebot,但允許 Mediapartners-Google 使用者代理程式,範例如下:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

漫遊器中繼標記中的使用者代理程式

有些網頁會使用多個漫遊器中繼標記,為不同的檢索器設定相關指令,例如:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

以上述程式碼為例,Google 會合併處理否定性質的指令,而 Googlebot 將遵循 noindexnofollow 指令。 進一步瞭解如何控制 Google 對您的網站進行檢索及建立索引的方式。