Google が地域対応ページをクロールする方法

サイトに「地域対応」ページが含まれている場合(つまり、検出された国やユーザーの使用言語に基づいて異なるコンテンツを返す場合)、それぞれの言語や地域に向けたすべてのコンテンツがクロール、インデックス登録、またはランク付けされるとは限りません。これは、Googlebot クローラの既定の IP アドレスが米国からと判定されることが原因です。さらに、クローラが送信する HTTP リクエストのヘッダーには、Accept-Language は設定されません。

地域分散クロール

Googlebot は米国内の IP アドレスに加え、米国外の IP アドレスもクロールに使用しています。

これまで推奨してきたとおり、Googlebot が特定の国からと判定されるときは、その国からのユーザーと同様に扱ってください。つまり、米国からのユーザーをブロックしてコンテンツにアクセスできないようにする一方で、オーストラリアからのユーザーにはコンテンツの表示を許可している場合、サーバーは米国からと判定される Googlebot をブロックし、オーストラリアからと判定される Googlebot へのアクセスを許可する必要があります。

その他の考慮事項

  • Googlebot では、すべてのクロール設定に同じユーザー エージェント文字列を使用します。詳しくは、Google クローラで使用されるユーザー エージェント文字列をご覧ください。
  • Googlebot の地域分散クロールは、リバース DNS ルックアップを使用して確認できます。
  • サイト内のすべての地域別コンテンツに、Robots Exclusion Protocol(ロボット排除プロトコル)が一貫して適用されていることを確認してください。つまり、robots meta タグと robots.txt ファイルが地域ごとに同じディレクティブを指定している必要があります。