「ウェブ上の Duplex」ユーザー エージェント

DuplexWeb-Google は「ウェブ上の Duplex」サービスをサポートするユーザー エージェントです。 ユーザー エージェント トークンと完全なユーザー エージェント文字列についてはこちらをご覧ください。

クロール頻度と動作

  • DuplexWeb-Google ユーザー エージェントを使用するサービスは、サイトのクロール時に購入やその他の重要なアクションを実行しません。
  • DuplexWeb-Google ユーザー エージェントのクロールは、トレーニング中の機能に応じて 1 日に数回から 1 時間に数回の頻度で発生しますが、それによってサイトの負荷が増えたり、トラフィックが妨げられたりすることがないよう計算のうえ実行されます。
  • DuplexWeb-Google ユーザー エージェントのクロールは、Google 検索によるインデックス登録には使用されません。そのため、DuplexWeb-Google ユーザー エージェントでは noindex ディレクティブは認識されません。
  • Google アナリティクスでは、クロールおよび分析を実行中の DuplexWeb-Google ユーザー エージェントによるページ リクエストは記録されません。

robots.txt ルールを使用したクロールの制御

サイトがクロールされないようにするには、robots.txt の Disallow ルールを使用して DuplexWeb-Google ユーザー エージェントを明示的にブロックする必要があります。Search Console のプロパティ設定でクロール(トレーニング)を無効にするだけでは不十分です。

DuplexWeb-Google ユーザー エージェントは基本的には robots.txt のルールに従いますが、次の重要な例外があります。

  • Search Console を使用してウェブ上の Duplex を有効(デフォルト)にしている場合、DuplexWeb-Google ユーザー エージェントは * ワイルドカード ユーザー エージェント グループ内の Disallow ルールは無視します。
  • Search Console を使用してウェブ上の Duplex を無効にしている場合、DuplexWeb-Google ユーザー エージェントは * ワイルドカード ユーザー エージェント グループ内の Disallow ルールに従います。 例:
# Example 1: Block DuplexWeb-Google from crawling your site
User-agent: DuplexWeb-Google
Disallow: /

# Example 2:
# * If Duplex on the web is enabled for this property in Search Console,
#   block all user agents except DuplexWeb-Google.
# * If Duplex on the web is disabled for this property in Search Console,
#   block all user agents including Duplex-WebGoogle.
User-agent: *
Disallow: /