robots に関するよくある質問

robots に関する一般的な質問

ウェブサイトに robots.txt ファイルは必要ですか?

いいえ。Googlebot がウェブサイトにアクセスする際、まず robots.txt ファイルの取得を試みることによって、クロールの許可を求めます。robots.txt ファイルのないウェブサイトでは、通常、robots メタタグまたは X-Robots-Tag HTTP ヘッダーがクロールされ、問題なくインデックスに登録されます。

どの方法を使用してクローラをブロックすればよいですか?

場合によって変わります。つまり、それぞれの方法に長所があります。

  • robots.txt: コンテンツのクロールによってサーバーで問題が発生する場合に使用します。たとえば、無限カレンダー スクリプトをクロールさせないような場合です。非公開コンテンツのブロックや正規化の処理には robots.txt を使用しないでください(非公開コンテンツのブロックにはサーバー側での認証を使用してください)。URL をインデックスに登録しないようにする必要がある場合は、robots メタタグまたは X-Robots-Tag HTTP ヘッダーを使用します。
  • robots メタタグ: 個別の HTML ページの検索結果での表示方法を制御する必要がある場合(またはページが表示されないようにする場合)に使用します。
  • X-Robots-Tag HTTP ヘッダー: 検索結果での非 HTML コンテンツの表示方法を制御する必要がある場合(またはページが表示されないようにする場合)に使用します。

上記の方法を使用して、検索結果から他のユーザーのサイトを削除できますか?

いいえ。この方法は、自分でコードを変更したりファイルを追加したりできるサイトについてのみ適用されます。Google から情報を削除する方法をご覧ください。

Google によるウェブサイトのクロール頻度を遅くすることはできますか?

通常、クロール頻度の設定Google Search Console のアカウントで調整できます。

robots.txt に関する質問

複数のウェブサイトで同じ robots.txt を使用しています。相対パスの代わりに完全な URL を使用できますか?

いいえ。robots.txt ファイル内のディレクティブは相対パスに対してのみ有効です(ただし Sitemap: は例外です)。

robots.txt ファイルをサブディレクトリに配置できますか?

いいえ。このファイルはウェブサイトの最上位のディレクトリに配置する必要があります。

非公開フォルダをブロックする必要があります。他のユーザーが robots.txt ファイルを読み取れないようにできますか?

いいえ。robots.txt は不特定多数のユーザーによる読み取りが可能です。コンテンツのフォルダやファイル名を公開しない場合は、robots.txt ファイルに記述しないでください。ユーザー エージェントや他の属性に基づいて異なる robots.txt ファイルを提供することはおすすめしません。

クロールを許可するために allow ディレクティブを含める必要がありますか?

いいえ。allow ディレクティブを含める必要はありません。allow ディレクティブは、同じ robots.txt ファイル内で disallow ディレクティブをオーバーライドするために使用します。

robots.txt ファイルに誤りがある場合や、サポートされていないディレクティブを使用した場合はどうなりますか?

ウェブクローラは高度な柔軟性を備えており、通常は、robots.txt ファイルに小さい誤りがあっても影響を受けません。一般に、起こりうる最大の問題は、正しくないまたはサポートされていないディレクティブが無視されることです。robots.txt ファイルの解釈においては、書かれていないことは知り得ないという点に留意してください。Google は、取得した robots.txt ファイルを解釈することしかできません。ただし、robots.txt ファイルに含まれる問題点について把握できているのであれば、問題の解決は簡単です。

どのプログラムを使用して robots.txt ファイルを作成すればよいですか?

有効なテキスト ファイルを作成できるものであれば何でも使用できます。robots.txt ファイルの作成によく使われるのは、メモ帳、TextEdit、vi、emacs などです。詳細については、robots.txt ファイルの作成方法をご覧ください。ファイルを作成したら、robots.txt テスターで検証してください。

robots.txt の disallow ディレクティブを使用して Google によるページのクロールをブロックすると、検索結果に表示されなくなりますか?

Google によるページのクロールをブロックすると、Google のインデックスからそのページが削除される可能性があります。

ただし、robots.txt の Disallow を指定しても、ページが結果に表示されないという保証はありません。参照リンクなどの外部情報に基づいて、Google で関連があると判断する場合があります。ページがインデックスに登録されるのを明示的にブロックするには、noindex robots メタタグまたは X-Robots-Tag HTTP ヘッダーを使用する必要があります。この場合、robots.txt でそのページを不許可にしないでください。タグを認識して、それに従うためには、ページがクロールされる必要があります。

robots.txt ファイルの変更が検索結果に反映されるまでにどれくらいかかりますか?

まず、robots.txt ファイルのキャッシュを更新する必要があります(通常、コンテンツは最大 1 日間キャッシュされます)。変更が検出されても、クロールとインデックス登録の処理は複雑で、個別の URL で時間がかかる場合があるため、タイムラインを正確に示すことはできません。また、robots.txt ファイルで URL へのアクセスを不許可にし、その URL をクロールできない場合でも、検索結果の表示に残る可能性があることに注意してください。Google によるアクセスをブロックしたページが早急に削除されることをご希望の場合は、Google Search Console から削除リクエストを送信してください。

ウェブサイトのすべてのクロールを一時的に停止するにはどうすればよいですか?

robots.txt ファイルも含め、すべての URL に対して HTTP 結果コード 503 を返すことで、すべてのクロールを一時的に停止できます。robots.txt ファイルは、再びアクセスできるようになるまで定期的に再試行されます。robots.txt ファイルを変更してクロールを不許可にすることはおすすめしません。

使用しているサーバーでは大文字と小文字が区別されません。一部のフォルダのクロールを完全に不許可にするにはどうすればよいですか?

robots.txt ファイルのディレクティブは大文字と小文字が区別されます。この場合は、正規化の方法を使用して、1 つのバージョンの URL のみがインデックスに登録されるようにすることをおすすめします。これにより、robots.txt ファイルの行数が少なくなるため、管理しやすくなります。この方法が不可能な場合は、フォルダ名の一般的な組み合わせを列記するか、名前全体ではなく最初の数文字だけを使用して名前をできる限り短くすることをおすすめします。たとえば、/MyPrivateFolder の大文字と小文字のすべての組み合わせを列記する代わりに、「/MyP」の組み合わせを列記します(同じ名前で他にクロール可能な URL が存在しないことが確実な場合)。または、クロールに問題がない場合は、robots メタタグまたは X-Robots-Tag HTTP ヘッダーを代わりに使用することもできます。

robots.txt ファイルを含むすべての URL に対して 403 Forbidden を返しています。それでもまだサイトがクロールされるのはなぜですか?

403 Forbidden HTTP ステータス コードとその他の 4xx HTTP ステータス コードは、robots.txt ファイルが存在しないものとして解釈されます。つまり、通常、クローラはウェブサイトのすべての URL をクロールできるものと判断します。ウェブサイトのクロールをブロックするには、200 OK HTTP ステータス コードで、disallow ルールを適切に指定した robots.txt を返す必要があります。

robots メタタグに関する質問

robots メタタグは robots.txt ファイルに代わるものですか?

いいえ。robots.txt ファイルは、アクセスされるページを制御します。robots メタタグはページをインデックスに登録するかどうかを制御しますが、このタグが認識されるには、ページがクロールされる必要があります。ページのクロールに問題がある場合(ページがサーバーに大きな負荷をかける場合など)に、robots.txt ファイルを使用します。検索結果にページを表示するかどうかを制御する場合は、robots メタタグを使用できます。

robots メタタグを使用して、ページの一部分をインデックスに登録しないようにできますか?

いいえ。robots メタタグはページ単位の設定です。

<head> セクションの外部で robots メタタグを使用できますか?

いいえ。現状では、robots メタタグはページの <head> セクション内で使用する必要があります。

robots メタタグでクロールを不許可にできますか?

いいえ。現在、robots メタタグに noindex と指定されている場合でも、メタタグが変更されたかどうかをチェックするために、Google は時折その URL を再クロールする必要があります。

nofollow robots メタタグと rel="nofollow" リンク属性の違いは何ですか?

nofollow robots メタタグは、ページのすべてのリンクに適用されます。rel="nofollow" リンク属性は、ページの特定のリンクに対してのみ適用されます。rel="nofollow" リンク属性の詳細については、ユーザー生成スパムrel="nofollow" に関するドキュメントをご覧ください。

X-Robots-Tag HTTP ヘッダーに関する質問

URL の X-Robots-Tag を確認するにはどうすればよいですか?

ウェブベースの Server Header Checker を使用するか、Google Search ConsoleURL 検査ツール機能を使用すると、サーバーのヘッダーを簡単に確認できます。

答えが見つからない場合

こちらのページでご質問の回答が見つからない場合は、サイト所有者向けの Google のヘルプリソースをご覧ください。

また、Google 検索セントラルの公式ヘルプ コミュニティを次の言語でご利用いただけます: EnglishDeutschEspañolFrançaisItalianoNederlandsPolskiPortuguêsTürkçeРусскийالعربية中文(简体)日本語한국어