Googlebot のクロール頻度を下げる
Google では、高度なアルゴリズムでサイトに最適なクロール頻度を決定しています。サーバーの帯域幅に大きな負荷をかけることなく、1 回のアクセスでサイト内のページをできるだけ多くクロールすることを目標にしています。場合によっては、Google からのサイトのクロールにより、インフラストラクチャに重大な負荷がかかったり、サービス停止中に不要な費用が発生したりすることがあります。これを軽減するために、Googlebot からのリクエストの数を減らすことができます。
Googlebot のクロール頻度を下げることを決定した場合、その方法には次の選択肢があります。
Search Console を使用してクロール頻度を下げる（推奨）
クロール頻度をすばやく下げるには、Search Console を使用して Googlebot のクロール頻度を変更します。通常、この設定変更は数日以内に反映されます。この設定を行うには、まずサイトの所有権を確認します。サイトが必要とするクロール頻度よりも低すぎるクロール頻度に設定しないようにしてください。詳細については、Googlebot のクロールの割り当てについてをご覧ください。
サイトに対してクロール頻度の設定を利用できない場合は、特別なリクエストを送信することで、クロール頻度を下げることができます。クロール頻度の増加をリクエストすることはできません。
Google の仕組みにより自動的にクロール頻度を下げる
短期間（たとえば、数時間や 1～2 日）の間のクロール頻度を緊急に下げる必要がある場合は、コンテンツの代わりに、500、503、または 429 HTTP レスポンス ステータス コードを含む情報エラーページを返すようにします。Googlebot では、500、503、または 429 HTTP レスポンス ステータス コードを含む URL が多数検出されると（ウェブサイトを無効にした場合などが該当）、そのサイトのクロール頻度が下がるようになっています。この変更は、上記のエラーを返す URL のみではなく、ウェブサイト全体に対するクロールにも反映されます。エラーの数が減ると、クロール頻度は自動的に回復します。