Google 網頁檢索須知
Google 檢索開放網路內容已有 30 多年,我們經常收到有關網路檢索器運作方式的問題。為解答部分問題,我們整理了幾項關於 Google 檢索器的事實,說明檢索器如何協助我們整理全球資訊,讓使用者能找到整個網路上的內容。
什麼是檢索?簡單來說,檢索是 Google「看」網路的方式
檢索是指使用自動化軟體探索新網頁並瞭解這些網頁的程序。這樣一來,當您在 Google 上搜尋某個網頁,我們就會知道該網頁存在,並將其納入搜尋結果。所有搜尋引擎都需仰賴檢索,才能瞭解網頁和資訊的可能位置。如要瞭解詳情,請觀看這部影片,瞭解 Google 搜尋如何檢索網頁。
我們有許多檢索器,每個檢索器都有重要工作
Googlebot 是我們最知名的檢索器,用於確保 Google 搜尋結果保持最新狀態。我們也有專為其他平台 (例如 Google 圖片和 Google 購物) 設計的檢索器。我們提供完整說明文件,介紹最常用的檢索器及其用途。我們的檢索器會使用容易辨識的使用者代理程式名稱和已知的網際網路位址。這樣一來,網站擁有者就能確定看到的 Google 檢索器是正當的。
我們會重複執行檢索,找出最新更新內容,並提供最新的搜尋結果
為掌握即時新聞報導,我們可能會每隔幾分鐘重新檢索新聞首頁。在其他情況下,我們可能發現多年來都沒有變化,因此可能會等待一個月再重新檢索。網站擁有者可以透過 Sitemap 檔案告知我們新網頁和更新網頁的情形,影響重新檢索的頻率。
頻繁檢索是個好現象!
如果我們經常檢索您的網站,表示您的網頁含有使用者想找的最新或高度相關內容,而我們的系統也已辨識出這類需求。以線上購物為例,我們會經常檢索電子商務網站,確保搜尋結果顯示零售商最新的價格、促銷活動和庫存狀態。
隨著網頁日趨複雜,Google 的檢索作業也隨之增加
我們經常重新檢索的另一個原因,是為了充分瞭解網頁的豐富程度和提供的內容。檢索器會使用「算繪」技術完整載入網站,就像真人一樣「查看」網頁。多年來,網頁變得更加複雜;行動版網頁大小的中位數從 816 KB 增加到 2.3 MB,現在需要載入超過 60 個不同的檔案,包括圖片和互動式元件等。因此,如要取得網頁最完整的代表性快照,我們可能需要檢索同一網頁好幾次,甚至更多次,因為網頁會不斷新增元素。
我們會自動最佳化檢索作業
我們的檢索器經過精心設計,效率極高,而且會自行調整,盡量減少對網站擁有者的影響。舉例來說,如果網站速度變慢或傳回錯誤,系統會自動調整檢索頻率,避免網站伺服器過載。我們會快取已檢索的內容,盡量減少浪費資源的檢索作業。隨著檢索器找到網站上更多內容,系統也能辯識出哪些部分可減少檢索;舉例來說,如果日曆可顯示到 9999 年,可能就不需要檢索所有內容。網站擁有者可以找出不需要檢索的內容,藉此節省網站的基礎架構成本,並提升整體網際網路效率。
未經許可,Google 檢索器絕不會進入付費牆或訂閱內容
根據預設,如果網頁無法在開放式網路上存取 (例如內容位於登入頁面後方),檢索器也無法存取。如果網站擁有者想明確授權 Google 存取訂閱網頁 (例如讓 Google 將使用者導向該內容),請參閱網站擁有者專用指南。如果選擇向我們的檢索器提供訂閱存取權,可以使用結構化資料,繼續向訪客顯示登入畫面,同時避免觸發垃圾內容規則。此外,您也可以使用預覽控制項,避免訂閱內容出現在網頁預覽畫面中。
網站擁有者可以控管檢索項目以及檢索方式
我們遵守開放網路標準,例如 robots.txt。這是一種簡單的文字檔,可讓網站擁有者宣告檢索器 (例如我們的檢索器) 應如何與網頁互動。網站只要透過 robots.txt 和漫遊器中繼標記,就能向 Google 和其他服務說明如何存取網站內容。他們可以禁止網頁顯示在搜尋結果中。他們可以透過 Sitemap 告訴我們要檢索的新內容。此外,還可以透過檢索預算控管我們檢索網站的頻率。
我們的標準檢索器一律會遵守網站對內容存取和使用方式的選擇
檢索後,我們可能會多次使用檢索到的資料,減少對網站提出不必要的重複要求。即使重複使用這類資料,我們仍會遵守網站透過 robots.txt 檔案設定的選擇,以及透過開放式網路通訊協定提供的控制項。舉例來說,網站可以在 robots.txt 中使用 Google-Extended,控管內容是否用於訓練未來版本的 Gemini 模型。使用 Google-Extended 不會影響網站在 Google 搜尋中的收錄情形,也不會當成 Google 搜尋的排名信號。
我們為網站擁有者提供許多工具,協助管理 Google 檢索體驗,包括網站擁有者可免費使用的 Google Search Console。其中提供的資訊包含我們檢索的內容量和原因。此外,這項工具也能協助網站診斷伺服器停機或速度問題等。此外,Search Console 也會提供全面資訊,說明網站網頁在 Google 搜尋中的顯示情形,以及使用者與網頁的互動方式。
我們的檢索器可協助使用者找到最優質的網路內容,我們也持續尋求提升檢索器性能和效率的方法。