最佳化檢索預算
本指南說明如何為規模龐大且更新頻繁的網站進行 Google 檢索最佳化調整。
如果您的網站沒有大量會經常變動的網頁，或者網頁檢索作業看起來都是在發布網頁的同一天完成，那就不需要閱讀這份指南。針對 Google 搜尋，只要隨時保持 Sitemap 為最新狀態，並定期檢查網頁索引報表即可。
本指南適用對象
雖然本指南中的建議都是廣泛適用的良好做法，但這是一份進階指南，主要適用於下列類型的網站：
- 擁有超過 100 萬個不重複網頁，且內容變動頻率適中 (每週一次) 的大型網站
- 擁有超過 1 萬個不重複網頁，且內容變動極為頻繁 (每天) 的中型或大型網站
- 網站中有大量網址在 Search Console 中分類為「已找到 - 目前尚未建立索引」
檢索基本原理
網海無垠，即使是 Google 也無法探索每個可公開存取的網址。因此，Google 檢索每個網站所能用的時間和資源有限，這些資源的分配通常稱為網站的「檢索預算」。在這種情況下，Google 的檢索基礎架構會將「網站」定義為不重複的主機名稱。舉例來說，https://www.example.com/ 和 https://code.example.com/ 會視為不同網站，且各有專屬的檢索預算。網站的檢索預算取決於兩個主要元素：「檢索容量上限」和「檢索需求」。
檢索容量上限
Google 檢索網站時，並不希望對伺服器造成負擔。為避免這種情況，Google 檢索器會計算「檢索容量上限」 (也稱為「主機負載」)。這會限制伺服器為 Google 保持連線的時間總量，同時考量平行連線數和連線時間長度。這樣可確保 Google 能涵蓋所有重要內容，但又不會讓伺服器超過負荷。
每個網站一開始都採用相同的預設保守檢索容量上限。如果需要檢索更多內容，且網站維持正常運作，Google 系統會隨著時間自動調整這項限制。
檢索容量上限可能因下列因素而有所起伏：
- 檢索健康狀態：如果網站的回應速度穩定 (包括延遲時間和 Time-to-First Byte)，或有所改善，檢索容量上限就會提高，讓 Googlebot 可使用更多連線進行檢索。如果網站速度變慢 (延遲時間增加或回應時間變長)，或回應伺服器錯誤 (
5xx HTTP狀態碼) 或頻率限制信號 (例如HTTP 429)，檢索容量上限就會降低，Google 檢索次數也會減少。 - Google 的檢索限制：雖然 Google 的資源相當龐大，但仍有其限制，因此我們必須排出優先順序將資源分配到整個網路。
檢索需求
每個檢索器在檢索網路時都有自己的「需求」，取決於該檢索器特有的因素。舉例來說，網站放送動態廣告目標時，AdsBot 的需求通常會較高；Google 購物則對商家動態饋給中的產品需求較高。
Googlebot 的檢索需求會根據各網站的相對規模、更新頻率、網頁品質和關聯性而異。您可以影響的主要因素包括：
- 系統對網址庫的判斷：Google 會在未經您說明的情況下，嘗試檢索您網站上所有或大部分的已知網址；如果這當中存在許多重複網址，或者因為其他原因根本不需要檢索 (例如網址已移除、內容不重要等等)，等於 Google 浪費許多時間檢索您的網站。這也是你最能主動控制的因素。
- 熱門程度：為了盡可能在系統中提供最新的資訊，在網際網路上越熱門的網址，其檢索頻率也會越高。
- 過時程度：我們的系統希望能以足夠的頻率重新檢索文件，以便及時反映任何變更。
此外，關聯到整個網站的事件 (例如網站遷移) 可能會使檢索需求增加，因為我們需要重新處理新網址中的內容。
摘要
綜合檢索容量和檢索需求兩個層面來看，Google 會將網站檢索預算視為「Google 有能力且想要檢索的網址數量集合」。假如檢索需求較低，即使未達檢索容量上限，Google 也會降低對網站的檢索頻率。
最佳做法
請遵循下列最佳做法，盡可能提升檢索效率：
-
管理網址庫：使用適當的工具告訴 Google 要檢索哪些網頁，以及不要檢索哪些網頁。如果 Google 花費太多時間檢索不應檢索的網址，Google 檢索器可能不會探索網站的其他部分，也不會提高檢索預算。
- 整合重複的內容。 排除重複的內容，讓系統能著重於檢索獨特的內容，而不只是不重複的網址。
- 透過 robots.txt 禁止系統檢索網址。 有些網頁對使用者而言可能很重要，但您並不希望這些網頁出現在 Google 平台上，或由 Google 系統重新處理。例如內容與所連結網頁重複的無限捲動頁面，或是相同網頁的不同排序版本。如果無法依照清單第一條所說的方式進行整合，請使用 robots.txt 封鎖這些不重要的網頁。透過 robots.txt 封鎖網址可防止 Google 檢索這些網址，並大幅降低其他 Google 系統處理這些網址的機率 (例如由 Google 搜尋建立索引)。
-
如果網頁已永久移除，請傳回
404或410狀態碼。 Google 不會忘記已知的網址，但404狀態碼是很強烈的信號，會告訴 Google 不要再檢索該網址。相較來說，系統會在檢索佇列中將遭到封鎖的網址保留較長一段時間，並在解除封鎖後重新進行檢索。 -
排除
soft 404錯誤。 系統會繼續檢索soft 404網頁，白白浪費你的預算。請查看網頁索引報表是否有soft 404錯誤。 -
隨時保持 Sitemap 為最新狀態。Google 會定期讀取 Sitemap，因此請務必在其中納入您希望 Google 檢索的所有內容。如果網站內容已經更新，建議加入
<lastmod>標記。 - 避免使用過長的重新導向鏈結，因為這種做法會對檢索造成負面影響。
-
確保網頁擁有良好的載入效率。
如果 Google 能夠以更快的速度載入並轉譯網頁，或許就能讀取網站中的更多內容。
- 加快載入速度：縮短伺服器回應時間並最佳化資源，加快網頁載入速度。
-
使用 HTTP 快取：支援
304 (Not Modified)HTTP 狀態碼。如果網頁自 Google 上次檢索後未曾變更，傳回304程式碼可指示 Google 重複使用快取版本，節省伺服器頻寬和資源。
- 針對檢索預算問題進行偵錯。 請檢查網站在檢索期間是否有任何可用性問題，並設法讓檢索作業更有效率。
如何提高檢索預算？
提高檢索預算的方法有兩種：