Google が地域対応ページをクロールする方法

サイトに「地域対応」ページが含まれている場合（つまり、検出された国やユーザーの使用言語に基づいて異なるコンテンツを返す場合）、それぞれの言語や地域に向けたすべてのコンテンツがクロール、インデックス登録、またはランク付けされるとは限りません。これは、Googlebot クローラーの既定の IP アドレスが米国からと判定されることが原因です。さらに、クローラーが送信する HTTP リクエストのヘッダーには、Accept-Language は設定されません。

地域分散クロール

Googlebot は米国内の IP アドレスに加え、米国外の IP アドレスもクロールに使用しています。

これまで推奨してきたとおり、Googlebot が特定の国からと判定されるときは、その国からのユーザーと同様に扱ってください。つまり、米国からのユーザーをブロックしてコンテンツにアクセスできないようにする一方で、オーストラリアからのユーザーにはコンテンツの表示を許可している場合、サーバーは米国からと判定される Googlebot をブロックし、オーストラリアからと判定される Googlebot へのアクセスを許可する必要があります。

その他の考慮事項

Googlebot では、すべてのクロール設定に同じユーザーエージェント文字列を使用します。詳しくは、Google クローラーで使用されるユーザーエージェント文字列をご覧ください。
Googlebot の地域分散クロールは、リバース DNS ルックアップを使用して確認できます。
サイトで Robots Exclusion Protocol が使用されている場合は、これが地域ごとに一律で適用されていることを確認してください。つまり、robots meta タグと robots.txt ファイルが地域ごとに同じルールを指定している必要があります。