改用 CDN,避免來源伺服器超載 (或封鎖 Googlebot)

2026 年 11 月 11 日,星期三

部署內容傳遞網路 (CDN),將網站素材資源分散到全球各地、更靠近使用者的快速邊緣伺服器,對任何成長中的網站來說都是重大升級:這能降低訪客延遲,並保護原始伺服器 (存放原始內容的後端可靠來源) 免受大量流量影響。

聽起來很完美,對吧?不過,轉換階段可能會有點奇怪。

我們有時會收到網站擁有者的回報,指出在將網站置於 CDN 後,伺服器的檢索器流量幾乎立即暴增,而這正是他們想要修正的問題。在這些邊緣伺服器填入快取之前,使用者造訪和檢索器要求仍需直接從原始伺服器擷取。

改用 CDN 時,建議您瞭解 檢索預算 的運作方式,以及如何在緊急情況下降低 Google 的檢索頻率。這篇網誌文章旨在說明這類異動可能帶來的影響,以及相關挑戰。這也是為什麼我們在《The Non-Canonical Cabinet》第 5 集中,全副武裝 (戴上安全帽、手持消防水帶),帶您瞭解如何順利完成轉換。如果您曾改用 CDN,並對所有新流量感到好奇,或者想避免不小心將網站從搜尋結果中移除,這篇文章就很適合您!

為什麼所有內容都會同時在各處檢索?

切換至 CDN 時,檢索器流量可能會激增,這是因為 Google 檢索基礎架構會計算網站的檢索容量限制 (也稱為「主機負載」):

  • 回應速度越慢,檢索頻率就越低。Google 的自動檢索基礎架構會持續監控主機伺服器的健康狀態和回應能力。回應時間增加時,檢索器會減慢速度,以免伺服器負荷過重,並避免降低網站的使用者體驗。
  • 快速穩定的回應可加快檢索速度。如果伺服器回應速度快且穩定,系統會將該速度解讀為基礎架構運作良好、效能優異。只要有檢索需求,檢索容量限制就會逐漸提高。

DNS 指向快速 CDN 邊緣網路後,連線時間和回應時間就會大幅縮短。對我們的檢索系統來說,這就像是您的伺服器剛進行了大規模硬體升級,因此檢索器會開始提高要求比率,以配合伺服器的速度。

問題。邊緣伺服器快取失敗。

如果 CDN 在邊緣吸收所有要求,檢索頻率較高就不會是問題。 問題在於,全新的 CDN 會從空白 (冷) 快取開始。

在邊緣位置首次要求網址時,CDN 尚未有該素材資源 (HTML 文件、CSS、JavaScript、圖片等) 的副本,因此會快取失敗。為滿足要求,邊緣伺服器必須一路「走」回原始伺服器、擷取回應、自行儲存可快取的副本,然後提供給用戶端。只有後續對相同快取網址的要求,才會成為快取命中,直接從邊緣提供,不會干擾原始伺服器 (在影片中,邊緣伺服器是由一隻橡膠雞代表,在一堆便利貼之間來回奔跑。畢竟網路圖表沒有一定要怎麼畫)。

基本上,CDN 啟用期間的真正瓶頸仍是原始伺服器。

人類訪客通常會聚集在相對較少的一組熱門網頁 (首頁、熱門文章或進行中的促銷活動),這些網頁會在 CDN 快取中快速暖機。檢索器恰好相反,它們的工作是系統性地探索網址目錄的廣度。

現在,結合這兩種行為:

  1. 快速的邊緣回應會向 Google 檢索器發出信號,表示可以加快檢索速度。
  2. 檢索器首次處理大量網址時,每個未快取的網址都會觸發快取失敗,並直接傳遞至原始伺服器。

檢索器不會立即提高檢索頻率,而且許多 CDN 都內建連線速度控制功能,有助於平緩流量高峰。即便如此,在邊緣快取填入 (暖機) 之前,CDN 尚未發揮保護作用,原始伺服器仍需承擔繁重的作業。

您不得檢索!全盤漫遊器防護執行過度時

如果管理員不清楚原因,在遷移後立即在原始記錄中看到非預期的自動化要求激增,自然會感到緊張。在快取暖機期間,您可能會想查看要求激增的圖表,並嘗試登入 CDN 資訊主頁,開啟全盤漫遊器防護功能來解決這個問題。引用 Cherry 的話:「漫遊器不得通過!」

模擬 CAPTCHA 驗證問題,要求從紅綠燈和尖叫雞組成的網格中,選取所有含有紅綠燈的方塊

全盤安全性規則的問題就寫在名稱上:如果沒有豁免,這些規則會一視同仁地處理所有自動化流量,包括您重視的檢索器流量。當 CDN 或網頁應用程式防火牆 (WAF) 標記自動化要求,並透過 CAPTCHA 等驗證機制攔截時,Google 檢索器就無法通過測試 (Googlebot 有許多才能,但分辨交通號誌和雞並非其中之一。事實上,有時連 Gary 也無法答對)。

如果啟用全盤漫遊器防護功能,但未豁免已驗證的檢索器,基本上會使檢索器卡在錯誤頁面上,這對 Google 搜尋或其他依賴檢索資料的產品毫無用處。在我們看來,您的網站似乎刻意設下限制或有故障之處。如果未移除這些規則,檢索器就會停止檢索,而您的網頁、購物產品資訊和雞隻圖片也會開始從 Google 搜尋中消失。

如何訓練 CDN (不影響原始伺服器)

您不需要聘請消防隊長來部署 CDN,而是需要正確的預期和行動計畫,例如:

  1. 如要封鎖漫遊器,請在 CDN 和防火牆設定中允許已驗證的漫遊器。 大多數主要 CDN 和 WAF 都提供內建切換鈕或代管規則,可允許已知/已驗證的漫遊器,讓您偏好的檢索器略過 CAPTCHA 驗證,同時仍能篩除不必要的流量 (您可以透過 Google 發布的 IP 範圍辨識我們的檢索器)。或者,您也可以設定 robots.txt 檔案或使用規則,鎖定特定不想要的漫遊器,而不是封鎖所有自動化用戶端。
  2. 先預熱快取,再開放流量。在透過新 CDN 轉送所有流量之前,請以可控的速度,透過 CDN 程式化擷取流量最高、即將迎來流量高峰的網頁 (例如促銷或季節性發布),以及最常檢索的網址,讓邊緣快取準備好提供流量。或者,如果您不像 Gary 那樣沒朋友,可以請朋友分別存取兩個不同的網址,這樣也行。
  3. 如需暫時停止,請使用 429 或 503。如果快取暖機期間,檢索量仍對原始伺服器造成重大負載,請設定伺服器或 CDN 頻率限制規則,在短時間內 (最多幾小時或 1 到 2 天) 傳回 429 (Too Many Requests) 或 503 (Service Unavailable) HTTP 狀態碼,如緊急降低 Google 檢索頻率指南所述。

重點摘要 (誰會把重點摘要放在最後?!)

在您將乙太網路線纏繞在伺服器機櫃上並結束工作之前,請記住改用 CDN 時的三件事:

  • 回應速度越快,檢索速度就越快:CDN 邊緣延遲時間越短,Google 檢索器就會認為網站運作良好,可處理更高的檢索頻率。
  • 快取只會在第二次造訪時保護您:在冷快取中,每個不重複網址的第一個要求都是快取失敗,會直接傳送至原始伺服器。請盡可能預熱快取。
  • 如有需要,請將已驗證的檢索器排除在漫遊器驗證之外:請勿讓全盤 WAF 或 CAPTCHA 規則以 403 牆或驗證頁面封鎖 Google 檢索器;請使用已驗證漫遊器豁免設定,並在原始伺服器確實需要喘息時,依賴暫時的 429 或 503 回應。

不夠好玩嗎?看影片吧!

觀看《The Non-Canonical Cabinet》第 1 季完結篇 (第 5 集)!我們用塑膠工地安全帽、冒煙的檔案櫃和橡膠雞 (代表邊緣伺服器) 來說明網路架構,我們相當確定,這些都不在我們原本的工作說明中。

想看完整第 1 季嗎?我們試圖挑戰網址和 robots.txt 的極限。我們討論了 404 和重新導向。觀看全部 5 集影片。我們保證會提供過多的家禽。

您希望我們在下一季 (視預算而定) 從 (稍微烤過的) 櫃子裡,取出什麼奇怪的邊緣案例嗎?請在影片下方留言。

請保持快取暖機、防火牆整潔,並用氣泡紙包好橡膠雞!