Google のクロール頻度を下げる

Google クローラーのインフラストラクチャでは、高度なアルゴリズムで各サイトに最適なクロール頻度が決定されています。サーバーに大きな負荷をかけることなく、1 回のアクセスでサイト内のページをできるだけ多くクロールすることを目標にしています。場合によっては、Google からのサイトのクロールにより、お客様が使用しているインフラストラクチャに重大な負荷がかかったり、サービス停止中に不要な費用が発生したりすることがあります。これを軽減するために、Google クローラーからのリクエストの数を減らすことができます。

クロールが急激に増加する原因を把握する

クロールが急激に増加する場合は、サイトの構造に非効率な箇所があるなど、サイトに問題がある可能性があります。過去の報告に基づいた、よくある理由は以下のとおりです:

• URL の非効率な設定（通常は以下のようなサイトの特定の機能に起因）
  • サイトのファセット ナビゲーション、またはその他の並べ替えやフィルタリングのための機能
  • 特定の期間に対して多数の URL があるカレンダー
• 動的検索広告のターゲット

トラフィックの発生元を把握し、前述のクロール急増のよくある理由が該当するか確かめるために、ホスティング会社に連絡して、最近のサーバーのアクセスログを調べることを強くおすすめします。次に、ファセット ナビゲーション URL のクロール管理と、クロール効率の最適化に関するガイドをご確認ください。

すぐにクローラー トラフィックを減らす（緊急時）

警告: Google のクロール頻度を下げることを検討する場合は、その影響が広範囲に及ぶことにご留意ください。検索に関しては、Googlebot が検出できる新規ページの数が少なくなる以外に、既存ページについて更新される頻度が低くなる（その結果、たとえば価格や商品の在庫状況が検索に反映されるまでの時間が長くなる）、削除済みページがインデックスに残る時間が長くなる、といった影響が考えられます。Google 広告の場合は、キャンペーンがキャンセルまたは一時停止されたり、自社の広告が表示されなくなったりする、といったことが起こり得ます。

短期間（たとえば、数時間や 1～2 日）の間のクロール頻度を至急下げる必要がある場合は、クロール リクエストに対して、200 の代わりに 500、503、429 のいずれかの HTTP レスポンス ステータス コードを返すようにします。Google のクローラー インフラストラクチャでは、500、503、または 429 HTTP レスポンス ステータス コードを含む URL が多数検出されると（ウェブサイトを無効にした場合などが該当）、そのサイトのクロール頻度が下がるようになっています。クロール頻度の低減は、サイトのホスト名全体（例: subdomain.example.com）に影響を与えます。エラーを返す URL のクロールか、コンテンツを返す URL のクロールかは関係ありません。エラーの数が減ると、クロール頻度は自動的に回復します。

警告: 対象期間が長い（1～2 日では済まない）場合は、この方法はおすすめしません。Google サービスでのサイト表示に悪影響を及ぼすことがあります。たとえば検索に関しては、Googlebot が同じ URL で上記ステータス コードを数日にわたり検出すると、その URL が Google のインデックスから削除される場合があります。

特別なリクエストでクロール頻度を抑える

Google のクローラーにエラーを返すことが難しいインフラストラクチャをお使いの場合は、特別なリクエストを送信することで、クロール頻度が異常に高い問題を報告し、自社のサイトに最適なクロール頻度をリクエストできます。クロール頻度の増加をリクエストすることはできません。また、リクエストが審査され、処理されるまで数日かかることがあります。