robots.txt ファイルを更新する

既存の robots.txt ファイル内のルールを更新するには、サイトから robots.txt ファイルをダウンロードして、必要な編集を行います。 更新したファイルをサイトにアップロードします。

robots.txt ファイルをダウンロードする

robots.txt ファイルはさまざまな方法でダウンロードできます。以下に例を示します。

  • robots.txt ファイル（例: https://example.com/robots.txt）に移動し、その内容をパソコン上の新しいテキスト ファイルにコピーします。新しいローカル ファイルを作成する際には、ファイル形式関連のガイドラインを遵守してください。
  • cURL などのツールを使用して、robots.txt ファイルの実際のコピーをダウンロードします。次に例を示します。
    curl https://example.com/robots.txt -o robots.txt
  • Search Console の robots.txt レポートを使用して robots.txt ファイルの内容をコピーし、パソコン上のファイルに貼り付けることができます。

robots.txt ファイルを編集する

サイトからダウンロードした robots.txt ファイルをテキスト エディタで開き、ルールに必要な変更を加えます。必ず正しい構文を使用し、UTF-8 エンコードでファイルを保存してください。

robots.txt ファイルをアップロードする

保存した新しい robots.txt ファイルを、robots.txt という名前のテキスト ファイルとして、サイトのルート ディレクトリにアップロードします。サイトへのファイルのアップロード方法は、プラットフォームやサーバーに大きく依存します。サイトに robots.txt ファイルをアップロードするためのヒントをご確認ください。

Google の robots.txt キャッシュを更新する

自動クロールの過程で、Google のクローラーは robots.txt ファイルに加えられた変更を検知し、キャッシュに保存されたバージョンを 24 時間おきに更新します。キャッシュをより迅速に更新する必要がある場合は、robots.txt レポートの [再クロールをリクエスト] 機能を使用してください。