Googlebot の裏側: クロール、フェッチ、バイト処理の謎を解き明かす

2026 年 3 月 31 日(火曜日)

「Google 検索オフレコ」ポッドキャストのエピソード 105 をお聴きになった方は、Google にとって(そして Google のサーバーにとって)大切なトピックである、Googlebot の内部の仕組みについて深く掘り下げていることをご存じかもしれません。

長い間、「Googlebot」という名前は、インターネットを体系的に読み取る、疲れを知らない単一のロボットのイメージを想起させてきました。しかし、実際にはもう少し複雑で、はるかに興味深いものです。本日は、Google のクロール インフラストラクチャの裏側を覗いてみましょう。特に Google の頭を悩ませているバイトサイズの上限について詳しく説明します。

まず、Googlebot は単一のプログラムではない

まずは歴史的な誤解を解いておきましょう。2000 年代初頭、Google のプロダクトは 1 つのみであったため、クローラーも 1 つのみでした。「Googlebot」という名前が定着しました。しかし、現在の Googlebot は、一元化されたクロール プラットフォームのようなものを利用するクライアントの一つにすぎません。

サーバーログに Googlebot が表示されている場合、それは単に Google 検索を見ているということです。Google ショッピング、AdSense など、他の多数のクライアントはすべて、異なるクローラー名で同じ基盤インフラストラクチャを介してクロール リクエストをルーティングします。大規模なものは、Google クローラー インフラストラクチャ サイトに記載されています。

2 MB の上限: バイトはどうなるか

ここからが少し複雑になります。クローラー インフラストラクチャのすべてのクライアントは、フェッチに関する設定を行う必要があります。これらの設定には、ユーザー エージェント文字列、robots.txt で確認するユーザー エージェント トークン、1 つの URL から取得するバイト数などがあります。

Googlebot は現在、個々の URL(PDF を除く)に対して最大 2 MB をフェッチします。つまり、HTTP ヘッダーを含むリソースの最初の 2 MB のみがクロールされます。PDF ファイルの場合、上限は 64 MB です。

画像クローラーと動画クローラーには通常、幅広いしきい値があり、フェッチするプロダクトによって大きく異なります。たとえば、ファビコンのフェッチでは、画像検索とは異なり、上限が非常に低く設定されている場合があります。

上限を指定していない他のクローラーの場合、コンテンツ タイプに関係なく、デフォルトは 15 MB です。

これは、サーバーがネットワーク経由で送信するバイトにどのような影響を与えるでしょうか。

  1. 部分的なフェッチ: HTML ファイルが 2 MB を超えていても、Googlebot はページを拒否しません。代わりに、2 MB のカットオフに達した時点でフェッチを停止します。この上限には、HTTP リクエスト レスポンス ヘッダーが含まれます。
  2. カットオフの処理: ダウンロードされた部分(最初の 2 MB のバイト)は、完全なファイルであるかのようにインデックス登録システムとウェブ レンダリング サービス(WRS)に渡されます。
  3. 読み込まれないバイト: 2 MB のしきい値の後に存在するバイトはすべて無視されます。それらのバイトは、フェッチ、レンダリング、インデックス登録の対象になりません。
  4. リソースの取り込み: HTML で参照されているすべてのリソース(メディア、フォント、一部の特殊なファイルを除く)は、親 HTML と同様に、Googlebot を介して WRS によってフェッチされます。これらには、URL ごとに独自のバイトカウンタがあり、親ページのサイズにはカウントされません。

ウェブの大部分において、2 MB の HTML ペイロードは膨大であり、この上限に達することはまずないでしょう。ただし、ページに肥大化したインライン base64 画像や、インライン CSS / JavaScript の巨大なブロックが含まれている場合、または数メガバイトのメニューで始まっている場合は、実際のテキスト コンテンツや重要な構造化データが誤って 2 MB の制限を超えてしまう可能性があります。これらの重要なバイトがフェッチされない場合、Googlebot にとってそれらは存在しないことになります。

バイトのレンダリング

クローラーがバイトを(上限まで)正常に取得すると、WRS にバトンを渡します。WRS は、JavaScript を処理し、最新のブラウザと同様にクライアントサイドのコードを実行して、ページの最終的な視覚的状態とテキストの状態を把握します。レンダリングでは、JavaScript ファイルと CSS ファイルを取り込んで実行し、XHR リクエストを処理することで、ページのテキスト コンテンツと構造をより深く理解します(画像や動画はリクエストしません)。リクエストされた各リソースにも 2 MB の上限が適用されます。

ただし、WRS が実行できるのは、クローラーが実際に取得したコードのみです。さらに、WRS はステートレスに動作します。つまり、リクエスト間でローカル ストレージとセッション データを消去します。これは、JavaScript に依存する動的な要素が Google のシステムでどのように解釈されるかに特別な影響を与える可能性があります。

バイトに関するベスト プラクティス

Googlebot がコンテンツを効率的にフェッチして理解できるように、以下のバイトレベルのベスト プラクティスを念頭に置いてください。

  • HTML を簡素化する: 重い CSS や JavaScript は外部ファイルに移動します。最初の HTML ドキュメントは 2 MB に制限されていますが、外部スクリプトやスタイルシートは個別にフェッチされます(それぞれ独自の上限が適用されます)。
  • 順序が重要: メタタグ、<title> 要素、<link> 要素、正規 URL、重要な構造化データなど、最も重要な要素を HTML ドキュメントの上部に配置します。こうすることで、重要な要素がカットオフを超えて読み込まれなくなる可能性を下げられます。
  • サーバーログをモニタリングする: サーバーの応答時間を監視します。サーバーがバイトの送信に苦労している場合、Google のクローラーはインフラストラクチャへの過負荷を避けるために自動的にバックオフし、クロール頻度を下げます。

この上限は固定されたものではなく、ウェブの進化や HTML ページのサイズの増加(または縮小。 縮小することを期待しています)に伴って変更される可能性があります。

クロールは魔法ではなく、高度にオーケストレートされた大規模なバイト交換です。 Google の一元的なフェッチ インフラストラクチャがどのようにバイトを取得し、制限しているかを理解することで、サイトの最も重要なコンテンツが常に制限内に入るようにすることができます。

今後ともよろしくお願いいたします。

舞台裏の詳細についてもっと知りたい方は、YouTube の「Google 検索オフレコ」ポッドキャストのエピソード 105 またはポッドキャスト配信サービスでご確認ください。