Crawling und Indexierung – Themen

Google crawlt und parst deine Inhalte, um sie in der Google Suche und anderen Google-Produkten anzuzeigen. In den Artikeln unter „Crawling und Indexierung“ wird beschrieben, wie du Einfluss auf die entsprechenden Abläufe nehmen kannst. Außerdem erfährst du, wie du verhinderst, dass Google bestimmte Inhalte auf deiner Website crawlt.

Nachfolgend findest du eine kurze Beschreibung der einzelnen Seiten. Einen Überblick über das Crawling und die Indexierung erhältst du im erweiterten Leitfaden zur Funktionsweise der Google Suche.

Themen
Sitemaps Mit einer Sitemap kannst du Google über neue oder aktualisierte Seiten auf deiner Website informieren.
robots.txt Mit einer robots.txt-Datei kannst du Suchmaschinen-Crawlern mitteilen, welche Seiten oder Dateien sie von deiner Website anfordern können und welche nicht.
Meta-Tags Google unterstützt mehrere Tag-Erweiterungen, mit denen du steuern kannst, wie deine Seiten in der Google Suche erscheinen.
Crawler-Verwaltung
Entfernungen
Duplizierter Content Du kannst Google über duplizierte Seiten auf deiner Website informieren, um doppeltes Crawling zu vermeiden. Hier kannst du nachlesen, wie Google duplizierte Inhalte automatisch erkennt und wie mit ihnen verfahren wird. Außerdem wird beschrieben, wie allen erkannten duplizierten Seitengruppen eine kanonische Seite zugewiesen wird.
Websiteverschiebungen und -änderungen
Internationale und mehrsprachige Websites Wenn deine Website Inhalte in verschiedenen Sprachen oder für verschiedene Regionen enthält, kannst du Google dabei helfen, deine Website besser zu verstehen.
JavaScript-Inhalte Beim Design deiner Seiten und Apps sind einige Unterschiede und Beschränkungen zu beachten, damit Crawler deine Inhalte auch richtig crawlen und rendern.