Duplex on the Web ユーザー エージェント

DuplexWeb-Google は、Duplex on the web サービスをサポートするユーザー エージェントです。ユーザー エージェント トークンと完全なユーザー エージェント文字列についてはこちらをご覧ください。

クロール頻度と動作

  • DuplexWeb-Google を使用するサービスは、サイトのクロール時に購入やその他の重要なアクションを実行しません。
  • DuplexWeb-Google のクロールは、トレーニング中の機能に応じて 1 日に数回から 1 時間に数回の頻度で発生しますが、それによってサイトの負荷が増えたり、トラフィックが妨げられたりすることがないよう計算のうえ実行されます。
  • DuplexWeb-Google のクロールは、Google 検索によるインデックス作成には使用されません。そのため、DuplexWeb-Google ユーザー エージェントでは noindex ディレクティブは認識されません。
  • Google アナリティクスでは、クロールおよび分析を実行中の DuplexWeb-Google によるページ リクエストは記録されません。

robots.txt ルールを使用したクロールの制御

サイトがクロールされないようにするには、robots.txt の Disallow ルールを使用して DuplexWeb-Google を明示的にブロックする必要があります。Search Console のプロパティ設定でクロール(トレーニング)を無効にするだけでは不十分です。

DuplexWeb-Google は基本的には robots.txt のルールに従いますが、次の重要な例外があります。

  • Search Console を使用してウェブ上の Google Duplex を有効(デフォルト)にしている場合、DuplexWeb-Google ユーザー エージェントは Disallow ステートメント中の * ワイルドカード ユーザー エージェント文字列の対象になりません。一方、Search Console を使用してウェブ上の Google Duplex を無効にしている場合は、DuplexWeb-Google ユーザー エージェントは Disallow ステートメント中の * ワイルドカード ユーザー エージェント文字列の対象になります。例:

# Example 1: Block DuplexWeb-Google from crawling your site
User-agent: DuplexWeb-Google
Disallow: /

# Example 2:
# * If Duplex on the web is enabled for this property in Search Console,
#   block all user agents except DuplexWeb-Google.
# * If Duplex on the web is disabled for this property in Search Console,
#   block all user agents including Duplex-WebGoogle.
User-agent: *
Disallow: /