コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

Googlebot のクロール頻度を下げる

Google では、高度なアルゴリズムでサイトに最適なクロール頻度を決定しています。サーバーの帯域幅に大きな負荷をかけることなく、1 回のアクセスでサイト内のページをできるだけ多くクロールすることを目標にしています。場合によっては、Google からのサイトのクロールにより、インフラストラクチャに重大な負荷がかかったり、サービス停止中に不要な費用が発生したりすることがあります。これを軽減するために、Googlebot からのリクエストの数を減らすことができます。

Googlebot のクロール頻度を下げることを決定した場合、その方法には次の選択肢があります。

Search Console を使用してクロール頻度を下げる(推奨)

クロール頻度をすばやく下げるには、Search Console を使用して Googlebot のクロール頻度を変更します。通常、この設定変更は数日以内に反映されます。この設定を行うには、まずサイトの所有権を確認します。サイトが必要とする頻度よりも低すぎる頻度に設定しないようにしてください。詳細については、Googlebot のクロールの割り当てとはをご覧ください。

サイトに対してクロール頻度の設定を利用できない場合は、特別なリクエストを送信することで、クロール頻度を下げることができます。クロール頻度の増加をリクエストすることはできません。

Google の仕組みにより自動的にクロール頻度を下げる

短期間(たとえば、数時間や 1~2 日)の間のクロール頻度を緊急に下げる必要がある場合は、すべてのコンテンツの代わりに、500、503、または 429 HTTP レスポンスに関するステータス コードを含む情報エラーページを返すようにします。Googlebot では、500、503、または 429 HTTP レスポンスに関するステータス コードを含む URL が多数検出されると(ウェブサイトを無効にした場合などが該当)、そのサイトのクロール頻度が下がるようになっています。この変更は、上記のエラーを返す URL のみではなく、ウェブサイト全体に対するクロールにも反映されます。エラーの数が減ると、クロール頻度は自動的に回復します。