Wenn du weißt, wie die User-Agents von Google mit deiner Website interagieren, kannst du dafür sorgen, dass deine wichtigsten Seiten an mehr Stellen im Google-Ökosystem angezeigt werden, ohne deine Server zu überlasten. In dieser Dokumentation erfährst du, wie du als Websiteinhaber oder ‑entwickler besser steuern kannst, wie deine Website gecrawlt wird.
Weitere Informationen
Du kannst prüfen, ob es sich bei dem Web-Crawler oder Fetcher, der auf deinen Server zugreift, tatsächlich um einen von Google handelt, z. B. den Googlebot.
Los gehts
Die Crawler von Google passen sich automatisch an deine Website und deinen Server an, um deine besten und aktuellsten Inhalte effizient zu finden und zu präsentieren. Um dir die Bewältigung schwieriger Situationen im Zusammenhang mit deinem Server und dem Crawling zu erleichtern, hast du die Möglichkeit, die Crawling-Frequenz bei Bedarf proaktiv zu verringern.
Los gehts
Mit einer robots.txt-Datei kannst du das Crawling einzelner Seiten oder deiner gesamten Website zulassen oder untersagen.
Los gehts

Auswirkungen von Crawling-Einstellungen darauf, wo deine Website bei Google erscheint

Die Crawling-Infrastruktur von Google wird von verschiedenen Google-Produkten gemeinsam genutzt. Wenn du Best Practices befolgst, können deine Webinhalte also effizienter gefunden und auf Google präsentiert werden.
Die Google Suche verwendet den Googlebot, um deine Website zu crawlen und relevante Inhalte für Nutzer zu finden.
Google-Extended wird von Gemini-Apps und der Vertex AI API für Gemini verwendet. Weitere Informationen zu Google-Extended
Crawling-Einstellungen, die an den User-Agent „Storebot-Google“ gerichtet sind, wirken sich auf alle Oberflächen von Google Shopping aus.
Der AdSense-Crawler greift auf teilnehmende Websites zu, um auf ihnen relevante Anzeigen zu präsentieren.
Crawling-Einstellungen, die an den Googlebot-News-User-Agent gerichtet sind, wirken sich auf das Google News-Produkt aus, einschließlich news.google.com und der Google News App.
Der Google-NotebookLM-Fetcher ruft einzelne URLs ab, die NotebookLM-Nutzer als Quellen für ihre Projekte angegeben haben.