Агент пользователя для сервиса "Duplex в интернете"

DuplexWeb-Google – это агент пользователя, который обеспечивает работу сервиса "Duplex в интернете". Токены и полные строки для различных агентов пользователя приведены в этой статье.

Особенности работы и частота сканирования

Ни один сервис, применяющий агент пользователя DuplexWeb-Google, не совершает покупки или другие важные действия при сканировании вашего сайта.
DuplexWeb-Google выполняет сканирование от нескольких раз в день до нескольких раз в час в зависимости от обучаемой функции, но с таким расчетом, чтобы не перегрузить ваш сайт и не нарушить его трафик.
Данные, полученные агентом пользователя DuplexWeb-Google, не применяются для индексирования в Google Поиске. Поэтому DuplexWeb-Google не распознает директиву noindex.
В отчетах Google Аналитики не регистрируются запросы страниц, поступившие от DuplexWeb-Google во время сканирования и анализа.

Как управлять сканированием с помощью правил в файле robots.txt

Если вы не хотите, чтобы агент пользователя DuplexWeb-Google сканировал ваши страницы, вам необходимо явным образом заблокировать ему доступ к ним с помощью директивы Disallow в файле robots.txt. Отключить обучение в настройках ресурса в Search Console недостаточно.

DuplexWeb-Google следует директивам, указанным в файле robots.txt, однако есть важные исключения:

Если сервис "Duplex в интернете" включен в настройках Search Console (вариант по умолчанию), то агент пользователя DuplexWeb-Google игнорирует директивы Disallow в группах правил, относящихся к агенту пользователя и содержащих подстановочный знак *.
Если сервис "Duplex в интернете" отключен в настройках Search Console, то агент пользователя DuplexWeb-Google соблюдает директивы Disallow в группах правил, относящихся к агенту пользователя и содержащих подстановочный знак *. Ознакомьтесь с примерами ниже.

# Example 1: Block DuplexWeb-Google from crawling your site
User-agent: DuplexWeb-Google
Disallow: /

# Example 2:
# * If Duplex on the web is enabled for this property in Search Console,
#   block all user agents except DuplexWeb-Google.
# * If Duplex on the web is disabled for this property in Search Console,
#   block all user agents including DuplexWeb-Google.
User-agent: *
Disallow: /