Агент пользователя для сервиса "Duplex в интернете"
DuplexWeb-Google
– это агент пользователя, который обеспечивает работу сервиса "Duplex в интернете".
Токены и полные строки для различных агентов пользователя приведены в этой статье.
Особенности работы и частота сканирования
-
Ни один сервис, применяющий агент пользователя
DuplexWeb-Google
, не совершает покупки или другие важные действия при сканировании вашего сайта. DuplexWeb-Google
выполняет сканирование от нескольких раз в день до нескольких раз в час в зависимости от обучаемой функции, но с таким расчетом, чтобы не перегрузить ваш сайт и не нарушить его трафик.-
Данные, полученные агентом пользователя
DuplexWeb-Google
, не применяются для индексирования в Google Поиске. ПоэтомуDuplexWeb-Google
не распознает директивуnoindex
. -
В отчетах Google Аналитики не регистрируются запросы страниц, поступившие от
DuplexWeb-Google
во время сканирования и анализа.
Как управлять сканированием с помощью правил в файле robots.txt
Если вы не хотите, чтобы агент пользователя DuplexWeb-Google
сканировал ваши страницы, вам необходимо явным образом заблокировать ему доступ к ним с помощью директивы Disallow
в файле robots.txt.
Отключить обучение в настройках ресурса в Search Console недостаточно.
DuplexWeb-Google
следует директивам, указанным в файле robots.txt, однако есть важные исключения:
-
Если сервис "Duplex в интернете" включен в настройках Search Console (вариант по умолчанию), то агент пользователя
DuplexWeb-Google
игнорирует директивыDisallow
в группах правил, относящихся к агенту пользователя и содержащих подстановочный знак*
. -
Если сервис "Duplex в интернете" отключен в настройках Search Console, то агент пользователя
DuplexWeb-Google
соблюдает директивыDisallow
в группах правил, относящихся к агенту пользователя и содержащих подстановочный знак*
. Ознакомьтесь с примерами ниже.
# Example 1: Block DuplexWeb-Google from crawling your site User-agent: DuplexWeb-Google Disallow: / # Example 2: # * If Duplex on the web is enabled for this property in Search Console, # block all user agents except DuplexWeb-Google. # * If Duplex on the web is disabled for this property in Search Console, # block all user agents including DuplexWeb-Google. User-agent: * Disallow: /