オリジンに過度な負荷をかけずに(または Googlebot をブロックせずに)CDN に移行する

2026 年 11 月 11 日(水曜日)

コンテンツ配信ネットワーク(CDN)をデプロイして、サイトのアセットをユーザーに近い高速なグローバル エッジ サーバーに分散することは、成長中のサイトにとって大きなアップグレードとなります。訪問者のレイテンシを短縮し、オリジン サーバー(オリジナル コンテンツを保持するバックエンドの信頼できる情報源)を大量のトラフィックから保護できます。

完璧に聞こえるかもしれませんね。ただ、移行フェーズでは少し奇妙なことが起こる可能性があります。

サイトを CDN の背後に配置した直後に、サーバーへのクローラー トラフィックがほぼ即座に急増したという話をサイト所有者から聞くことがあります。これは、まさに修正しようとしていた問題です。これらのエッジ サーバーがキャッシュにデータを入力する前に、ユーザーのアクセスとクローラーのリクエストの両方をオリジンから直接取得する必要があります。

CDN に移行する際は、クロール バジェットの仕組みと、緊急時に Google のクロール頻度を減らす方法の両方を確認しておくと便利です。このブログ投稿は、このような移行で想定されることと、それに伴う課題について説明することを目的としています。「The Non-Canonical Cabinet」のエピソード 5 で、移行の進め方を説明するために準備万端でヘルメットと消火ホースを着用しているのはこのためでもあります。CDN に移行して新しいトラフィックに疑問を感じたことがある場合や、サイトが検索結果から誤って除外されないようにしたい場合は、このブログ投稿をご覧ください。

すべてが一度にあらゆる場所にクロールされる理由

CDN に切り替えると、Google のクロール インフラストラクチャがサイトのクロール容量の制限(ホスト負荷とも呼ばれます)を計算する方法により、クローラー トラフィックが急増することがあります。

  • レスポンスが遅くなると、クロール頻度が低下します。Google の自動クロール インフラストラクチャは、ホストサーバーの健全性と応答性を継続的にモニタリングしています。レスポンス タイムが増加すると、サーバーに過負荷をかけないように、またサイトのユーザー エクスペリエンスが低下しないように、クローラーの速度が低下します。
  • 高速で安定したレスポンスにより、クロールが高速化されます。サーバーが迅速かつ一貫して応答すると、Google のシステムはその速度を、インフラストラクチャが正常で、十分な容量があることを示すものと解釈します。クロール需要がある場合、クロール容量の制限は徐々に上がります。

DNS が高速な CDN エッジ ネットワークを指した瞬間、接続時間とレスポンス タイムが大幅に短縮されます。Google のクロール システムには、サーバーがハードウェアの大幅なアップグレードを行ったように見えるため、クローラーはそれに合わせてリクエスト率を上げ始めます。

問題はエッジサーバーのキャッシュミス

CDN がエッジですべてのリクエストを吸収していれば、クロール頻度が高くても問題ありません。問題は、新しい CDN が空の(コールド)キャッシュから始まることです。

エッジ ロケーションで URL に対する最初のリクエストが発生したとき、CDN にはそのアセット(HTML ドキュメント、CSS、JavaScript、画像など)のコピーがまだありません。これはキャッシュミスです。リクエストを処理するには、エッジ サーバーがオリジン サーバーまで戻り、レスポンスを取得して、キャッシュ可能なコピーを保存してから、クライアントにサービスを提供する必要があります。同じキャッシュに保存された URL に対する後続のリクエストのみがキャッシュ ヒットとなり、オリジンにアクセスすることなくエッジから直接配信されます(動画では、エッジ サーバーは付箋の山を行き来するゴム製のニワトリで表されています。ネットワーク図は主観的なものです)。

基本的に、CDN の起動時のボトルネックは依然としてオリジン サーバーです。

人間の訪問者は通常、比較的少数の人気ページ(ホームページ、トップ記事、実施中のプロモーションなど)に集中し、CDN キャッシュですぐにウォームアップされます。クローラーはまったく逆のことを行います。クローラーの仕事は、URL インベントリの範囲を体系的に探索することです。

これら 2 つの動作を組み合わせると、次のようになります。

  1. エッジのレスポンスが速いと、Google のクローラーはより速くクロールしても安全であると判断します。
  2. クローラーがこれらの大量の URL を初めて処理する際、キャッシュされていない URL はすべてキャッシュミスをトリガーし、オリジン サーバーに直接渡されます。

クローラーはクロール頻度をすぐに上げるわけではありません。また、多くの CDN には、トラフィックの急増を緩和する接続ペーシングが組み込まれています。それでも、エッジ キャッシュが入力(ウォームアップ)されるまで、CDN はシールドとして機能せず、オリジン サーバーが重い処理を続けます。

包括的なボット対策が過剰な場合、クロールしないこと

移行直後にオリジンログで自動リクエストの予期しない急増が見られると、管理者はその理由が不明な場合、不安になることがあります。キャッシュのウォームアップ中にリクエスト グラフが急増しているのを見て、CDN ダッシュボードにログインして包括的なボット対策を有効にすることで、この問題に対処しようとする誘惑に駆られます。Cherry の言葉を借りれば、「ボットは一切通してはなりません」!

信号機とゴム製のニワトリのグリッドから、信号機のあるすべての正方形を選択するよう求める模擬の CAPTCHA チャレンジ

包括的なセキュリティ ルールの問題は、その名前にあります。例外がないため、重要なクローラーからのトラフィックを含め、すべての自動トラフィックが同じように扱われます。CDN またはウェブ アプリケーション ファイアウォール(WAF)が自動リクエストをフラグ付けし、CAPTCHA などのチャレンジでインターセプトすると、Google のクローラーはテストに失敗します(Googlebot には多くの才能がありますが、信号機やニワトリを見つけることはその一つではありません。実際、Gary でも解決できないことがあります)。

確認済みのクローラーを除外せずに包括的なボット対策を有効にしたままにすると、クローラーは基本的に、検索やクロールされたデータに依存する他のプロダクトに役立たないエラーページで立ち往生します。Google の観点からは、ウェブサイトが意図的に制限されているか、破損しているように見えます。そのままにしておくと、クローラーは後退し、ページ、商品リスティング、ニワトリの画像が検索結果から除外され始めます。

オリジンを過熱させずに CDN をトレーニングする方法

CDN をデプロイするために消防士を雇う必要はありません。必要なのは、適切な期待値と次のようなゲームプランです。

  1. ボットをブロックする必要がある場合は、CDN とファイアウォールの設定で確認済みのボットを許可する。 ほとんどの主要な CDN と WAF には、既知のボットや確認済みのボットを許可する組み込みの切り替えボタンまたはマネージドルールが用意されています。これにより、不要なトラフィックをフィルタリングしながら、優先するクローラーが CAPTCHA チャレンジをバイパスできるようになります(Google のクローラーは、Google が公開している IP 範囲で識別できます)。または、robots.txt ファイルを構成するか、ルールを使用して、すべての自動クライアントをブロックするのではなく、特定の不要なボットをターゲットに設定することをおすすめします。
  2. ゲートを開く前にキャッシュを事前にウォームアップする。すべてのトラフィックを新しい CDN 経由でルーティングする前に、トラフィックが最も多いページ、今後トラフィックが急増するページ(プロモーションや季節限定のリリースなど)、最も頻繁にクロールされる URL を CDN 経由で制御されたペースでプログラムで取得し、エッジ キャッシュがトラフィックを処理できるようにします。Gary とは異なり、実際に友人がいる場合は、それぞれ 2 つの異なる URL にアクセスしてもらうこともできます。
  3. 一時的なブレーキが必要な場合は、429 または 503 を使用する。キャッシュのウォームアップ中にクロール量がオリジンに重大な負荷をかけている場合は、サーバーまたは CDN のレート制限ルールを構成して、Google のクロール頻度を緊急に下げる方法に関するガイドに記載されているように、短期間(数時間、または最大 1~2 日)に 429 (Too Many Requests) または 503 (Service Unavailable) HTTP ステータス コードを返します。

まとめ

サーバー キャビネットにイーサネット ケーブルを巻き付けて作業を終える前に、CDN に移行する際の 3 つのポイントを覚えておいてください。

  • レスポンスが速いほどクロールが速くなる: CDN エッジのレイテンシが低いと、Google のクローラーはサイトが正常で、クロール頻度が高くても処理できると判断します。
  • キャッシュは 2 回目のアクセスでのみ保護される: コールド キャッシュでは、一意の URL に対する最初のリクエストはキャッシュミスとなり、オリジン サーバーに直接送信されます。可能な場合は、キャッシュを事前にウォームアップします。
  • 必要に応じて、確認済みのクローラーをボット チャレンジから除外する: 包括的な WAF ルールや CAPTCHA ルールを使用して Google のクローラーを 403 ウォールやチャレンジ ページでブロックしないでください。確認済みのボットの除外を使用し、オリジンに本当に休息が必要な場合は一時的な 429 または 503 レスポンスを使用してください。

楽しめていませんか?エピソードをご覧ください。

「The Non-Canonical Cabinet」のシーズン 1 フィナーレ(エピソード 5)をご覧ください。私たちは、プラスチック製のヘルメット、煙を出すファイル キャビネット、エッジ サーバーの代わりとなるゴム製のニワトリを使って、ネットワーク アーキテクチャについて説明しています。入社時の職務記述書にはこのような業務は一切記載されていなかったと確信しています。

シーズン 1 の全エピソードに興味がありますか?このシーズンでは、URL と robots.txt を壊そうとし、404 とリダイレクトについて話しました。全 5 エピソードをご覧ください。ニワトリがたくさん登場します。

来シーズン(予算次第)に(少し焦げた)キャビネットから取り出してほしい奇妙なエッジケースはありますか?動画にコメントを残してください。

キャッシュを温かく保ち、ファイアウォールを整理し、ゴム製のニワトリをプチプチで包んでおきましょう。