User-Agent „Duplex on the Web“

DuplexWeb-Google ist der User-Agent, mit dem der Dienst „Google Duplex im Web“ unterstützt wird. Hier findest du das User-Agent-Token und die vollständigen User-Agent-Strings.

Crawling-Frequenz und -Verhalten

  • Keiner der Dienste, die DuplexWeb-Google verwenden, führt beim Crawlen deiner Website Käufe oder andere wichtige Aktionen aus.
  • DuplexWeb-Google-Crawls erfolgen je nach zu trainierender Funktion einige Male am Tag bis einige Male in der Stunde. Diese Trainingsläufe werden jedoch so ausgeführt, dass normalerweise weder deine Website überlastet noch dein Traffic gestört wird.
  • DuplexWeb-Google-Crawls werden von der Google Suche nicht zur Indexierung verwendet. Da sie bei der Indexierung nicht verwendet werden, erkennt der User-Agent DuplexWeb-Google die noindex-Anweisung nicht.
  • In Google Analytics werden keine Seitenanfragen aufgezeichnet, die von DuplexWeb-Google während des Crawlings und der Analyse gestellt wurden.

Crawling durch robots.txt-Regeln steuern

Wenn du verhindern möchtest, dass deine Website gecrawlt wird, musst du DuplexWeb-Google explizit mit der Disallow-Regel in der robots.txt-Datei blockieren. Das Deaktivieren des Crawlings (Trainings) in den Property-Einstellungen der Search Console reicht nicht aus.

DuplexWeb-Google befolgt normalerweise die Regeln von robots.txt mit der folgenden wichtigen Ausnahme:

  • Wenn „Google Duplex im Web“ über die Search Console aktiviert wird (Standardeinstellung), ist der DuplexWeb-Google-User-Agent von dem User-Agent-Platzhalterstring * in Disallow-Anweisungen nicht betroffen. Wenn „Google Duplex im Web“ über die Search Console deaktiviert wird, respektiert der DuplexWeb-Google-User-Agent den User-Agent-Platzhalterstring * in Disallow-Anweisungen. Beispiele:

# Example 1: Block DuplexWeb-Google from crawling your site
User-agent: DuplexWeb-Google
Disallow: /

# Example 2:
# * If Duplex on the web is enabled for this property in Search Console,
#   block all user agents except DuplexWeb-Google.
# * If Duplex on the web is disabled for this property in Search Console,
#   block all user agents including Duplex-WebGoogle.
User-agent: *
Disallow: /