迁移到 CDN:如何避免压垮源站(或误伤 Googlebot)

2026 年 11 月 11 日,星期三

部署内容分发网络 (CDN) 将网站资源分发到全球各地、更靠近用户的快速边缘服务器上,对于任何处于成长期的网站来说,都是一次重大的升级:它不仅能显著降低访客的延迟,还能像盾牌一样保护您的源服务器(即存储原始内容的后端“事实来源”)免受高流量的冲击。

听起来很完美,对吧?嗯…过渡阶段可能会有点奇怪。

我们有时会听到网站所有者反馈,在将网站置于 CDN 之后,其服务器的抓取工具流量几乎立即激增,而这正是他们试图解决的问题。 在这些边缘服务器完成缓存填充之前,无论是用户访问还是抓取工具请求,仍然需要直接从源站获取数据。

在迁移到 CDN 时,建议您先温习一下抓取预算的运作机制,并了解在紧急情况下如何降低 Google 的抓取速度。这篇博文旨在带您深入了解此类迁移的预期情况,以及其中涉及的一些挑战。这也是为什么我们全副武装(戴好安全帽,备好消防栓),在“The Non-Canonical Cabinet”第 5 集中手把手教您如何平稳度过这一过渡期。如果您曾迁移到 CDN 并对突如其来的流量感到困惑,或者想避免因操作不当导致网站从 Google 搜索中消失,那么这篇文章就是为您准备的!

那么,为什么突然间到处都在进行抓取呢?

当您切换到 CDN 时,抓取工具流量之所以会激增,是因为 Google 的抓取基础架构在计算您网站的抓取容量上限(也称为主机负载)时,有一套独特的运行逻辑:

  • 响应速度越来越慢会降低抓取速度。Google 的自动化抓取基础设施会持续监控主机服务器的运行状况和响应能力。当响应时间增加时,我们的抓取工具会减慢抓取速度,以免您的服务器不堪重负,并避免降低您网站的用户体验。
  • 快速稳定的响应可加快抓取速度。如果服务器能够快速且稳定地响应,我们的系统会将这种速度视为基础架构运行状况良好、性能出色的标志。 如果存在抓取需求,抓取容量上限会逐渐提高。

当您的 DNS 指向快速 CDN 边缘网络时,连接时间和响应时间会大幅缩短。对我们的抓取系统而言,这就像是您的服务器刚刚进行了大规模硬件升级,因此我们的抓取工具开始提高请求速率,以匹配升级后的性能。

问题所在:边缘服务器上发生缓存未命中。

如果 CDN 在边缘吸收了所有这些请求,那么较高的抓取速度就不会成为问题。 美中不足的是,全新的 CDN 刚启用时缓存是空的(即“冷缓存”)。

当边缘节点首次收到某个网址的请求时,CDN 还没有该资源(如 HTML 文档、CSS、JavaScript、图片等)的副本,这就是所谓的 缓存未命中。为了响应请求,边缘服务器不得不一路“奔波”回到您的源服务器,获取响应,为自己存下一份可缓存的副本,然后再提供给客户端。只有针对同一已缓存网址的后续请求,才会成为缓存命中,直接由边缘节点提供,而无需再劳烦您的源站。(在我们的视频中,边缘服务器是由一只橡胶鸡扮演的,它在一堆便利贴之间来回奔跑。网络图本来就是见仁见智的。)

基本上,CDN 启动期间的真正瓶颈仍然是源服务器。

人类访问者通常会聚集在少数几个热门页面(如首页、热门文章或进行中的促销活动)周围,这些页面能很快在 CDN 缓存中完成“预热”。抓取工具则恰恰相反。他们的工作是系统地探索您网址资源的广度。

现在,将这两种行为结合起来:

  1. 边缘节点的快速响应会向 Google 抓取工具发出信号,表明此时加快抓取速度是安全的。
  2. 当抓取工具首次处理这些大量网址时,每一个未缓存的网址都会触发一次缓存未命中,这些请求会直接穿透 CDN,全部压在您的源服务器上。

抓取工具不会立即提高抓取速度,并且许多 CDN 都内置了连接节奏控制功能,有助于缓解流量高峰。即便如此,在边缘缓存填充(预热)之前,CDN 仍无法充当防护盾,源服务器仍需承担繁重的工作。

不准抓取!当一刀切的漫游器防护用力过猛时

在迁移之后,如果管理员不清楚个中缘由,看到源站日志中自动请求量突然激增,难免会感到紧张。在缓存预热期间,看着请求图表上一路飙升的峰值,管理员难免会心急,想要通过登录 CDN 信息中心并开启“一刀切”的漫游器防护来解决问题。引用 Cherry 的话,“漫游器不得通行”!

一个模拟的人机识别验证:请从包含交通信号灯和橡胶鸡的网格中,选出所有带有交通信号灯的方块

一刀切的安全规则存在的问题正如其名称所示:如果不设置例外情况,这些规则会一视同仁地对待所有自动化流量,包括您关注的抓取工具流量。当 CDN 或 Web 应用防火墙 (WAF) 标记自动请求,并使用人机识别系统等验证机制拦截这些请求时,Google 的抓取工具将无法通过测试。(Googlebot 有很多本领,但识别交通信号灯和鸡不在其列。事实上,有时连 Gary 也无法解决这些问题。)

如果启用“一刀切”的漫游器保护,却不为经过验证的抓取工具设置豁免,就会导致抓取工具基本上被困在错误页面上,这对于 Google 搜索或其他依赖抓取数据的产品来说毫无用处。在我们看来,您的网站似乎故意设置了限制,或是已经出了故障。如果这些限制一直存在,我们的抓取工具就会望而却步,您的网页、商品详情,还有那些小鸡图片,都将开始从搜索结果中消失。

如何训练 CDN(而不影响源站)

部署 CDN 并不需要您请来消防队长坐镇;您真正需要的是合理的预期和一套实战策略,例如:

  1. 如果您需要屏蔽漫游器,请在 CDN 和防火墙设置中允许经过验证的漫游器。 大多数主流 CDN 和 WAF 都提供内置开关或托管规则,专门用于放行已知或经过验证的漫游器。这样一来,您首选的抓取工具就能顺利绕过人机验证,而那些不受欢迎的流量仍会被拒之门外(您可以通过 Google 发布的 IP 范围识别我们的抓取工具)。或者更好的做法是,通过配置 robots.txt 文件或设置规则来精准拦截那些不受欢迎的漫游器,而不是一刀切地屏蔽所有自动化客户端。
  2. 在打开流量闸门之前,先为缓存“预热”。在将所有流量转送到新 CDN 之前,建议您先以可控的节奏,通过程序化方式预先提取流量最高、即将迎来高峰(例如促销或季节性发布)的网页以及最常被抓取的网址。通过这种方式提前“预热”CDN,确保边缘缓存已准备好应对后续的流量请求。或者,如果您不像 Gary 那样没有朋友,可以请朋友分别访问两个不同的网址,这样也可以。
  3. 如果您需要临时刹车,请使用 429 或 503。如果抓取量在缓存预热期间仍让源站不堪重负,请配置服务器或 CDN 的速率限制规则,使其在短时间内(几个小时,最多 1-2 天)返回 429 (Too Many Requests) 或 503 (Service Unavailable) HTTP 状态代码,具体操作可参考紧急降低 Google 抓取速度指南。

要点总结(谁会把要点放在最后啊?!)

在您打算把以太网网线往服务器机柜上一缠、拍拍屁股下班之前,请记住迁移到 CDN 时的这三件事:

  • 响应速度越快,抓取速度就越快:CDN 边缘延迟时间短,会向 Google 的抓取工具表明您的网站运行状况良好,可以处理更高的抓取速度。
  • 缓存只有在第二次访问时才能化身为盾:在“冷缓存”状态下,针对每个唯一网址的首次请求都会触发缓存未命中,从而直接穿透并压向您的源服务器。尽可能预热缓存。
  • 如有必要,请将经过验证的抓取工具排除在漫游器验证之外:不要让“一刀切”的 WAF 或人机识别系统规则通过 403 墙或验证页面拦截 Google 的抓取工具;请使用经过验证的漫游器豁免机制,如果您的源站确实需要喘口气,请善用临时的 429 或 503 响应。

难道这还不精彩吗?请观看本集!

观看《The Non-Canonical Cabinet》第 1 季大结局(第 5 集)! 我们用一顶塑料施工安全帽、一个冒烟的文件柜,还有一只充当边缘服务器的橡胶鸡,为您解说网络架构。我们非常确定,这些道具没一个出现在我们最初的职位说明中。

对第 1 季完整内容感兴趣?我们曾试图挑战网址和 robots.txt 的极限。我们天南地北地聊了 404 和重定向。观看全部 5 集。 我们保证,这绝对会让你“鸡”多成灾。

您有任何离奇的极端案例,想让我们在下一季(预算允许的情况下)从那个(被略微烤焦的)柜子里翻出来聊聊?欢迎在视频下方留言。

祝您的缓存常热,防火墙整洁,橡胶鸡也记得裹好气泡膜!