更新した robots.txt を Google に送信

robots.txt テスターツールの送信機能を使用すると、robots.txt ファイルを更新したうえで、Google が早めにクロールを行い、新しい robots.txt ファイルをサイトで使用するように簡単に依頼できます。robots.txt ファイルを更新し、変更があったことを Google に知らせる手順は次のとおりです。

  1. robots.txt エディタの右下の [送信] をクリックします。この操作により [送信] ダイアログが開きます。
  2. [送信] ダイアログで [ダウンロード] をクリックし、編集した robots.txt コードを robots.txt テスターページからダウンロードします。
  3. 新しい robots.txt ファイルを、robots.txt という名前のテキスト ファイルとしてドメインのルートにアップロードします(robots.txt ファイルの URL は /robots.txt になります)。

    ファイルをドメインのルートにアップロードする権限がない場合は、ドメイン管理者に変更を依頼する必要があります。

    たとえば、サイトのホームページが subdomain.example.com/site/example/ にある場合、robots.txt ファイル(subdomain.example.com/robots.txt)を更新できないことがあります。その場合は example.com/ のオーナーに連絡して、robots.txt ファイルに必要な変更を行うよう依頼します。

  4. [アップロードされたバージョンを表示] をクリックして、公開中の robots.txt が Google にクロールして欲しいバージョンであることを確認します。
  5. [送信] をクリックして、robots.txt ファイルを変更したことを Google に通知し、クロールをリクエストします。
  6. 最新バージョンが正常にクロールされたかどうかを確認するには、まずブラウザのページを更新してツールのエディタを更新し、公開中の robots.txt のコードを確認します。ページを更新した後、さらにテキスト エディタの上にあるプルダウンをクリックして、robots.txt ファイルの最新バージョンを Google のクローラが初めて読み込んだときのタイムスタンプを確認します。