Duplicate Content vermeiden

Von Duplicate Content, auch „Content-Dubletten“ oder „duplizierte Inhalte“ genannt, wird gesprochen, wenn große Blöcke von Inhalten in derselben Sprache auf derselben oder einer anderen Domain mehrfach vorhanden sind – entweder komplett identisch oder doch sehr ähnlich. In den meisten Fällen ist das Auftreten solcher Dubletten nicht mit einer Täuschungsabsicht verbunden. Nicht böswilliger Duplicate Content kommt z. B. vor, wenn

in Diskussionsforen sowohl reguläre als auch vereinfachte, auf Mobilgeräte ausgerichtete Seiten erzeugt werden,
Artikel in einem Onlineshop über mehrere eindeutige URLs angezeigt oder verlinkt werden oder
Versionen von Webseiten speziell für den Ausdruck generiert werden.

Wenn deine Website mehrere Seiten mit weitgehend identischem Inhalt enthält, gibt es verschiedene Möglichkeiten, wie du Google deine bevorzugte URL mitteilen kannst. Das wird als „Kanonisierung“ bezeichnet. Weitere Informationen über die Kanonisierung

Gelegentlich werden jedoch bewusst Dubletten in verschiedenen Domains platziert, um so das Suchmaschinen-Ranking zu beeinflussen oder mehr Zugriffe zu generieren. Solche betrügerischen Methoden können die Nutzerfreundlichkeit beeinträchtigen, z. B. weil Besuchern in den Suchergebnissen mehrere Male die gleichen Inhalte angezeigt werden.

Google ist bemüht, nur Seiten zu indexieren und in den Suchergebnissen anzuzeigen, deren Inhalte nicht auch anderswo so zu finden sind. Diese Vorabfilterung bewirkt beispielsweise, dass bei einer Website, bei der die einzelnen Artikel sowohl in einer „normalen“ Version als auch in einer „Druckversion“ vorliegen, Google nach eigenem Ermessen bestimmt, welche Versionen für die Anzeige in den Suchergebnissen ausgewählt wird – es sei denn, eine der beiden Versionen wird durch einen noindex-Meta-Tag blockiert, sodass Google gar nicht vor dieser Wahl steht. In den seltenen Fällen, in denen wir annehmen müssen, dass Duplicate Content das Ranking manipulieren oder unsere Nutzer täuschen soll, nehmen wir außerdem entsprechende Korrekturen am Index und Ranking der betreffenden Website vor. Dadurch wird die Website unter Umständen in den Suchergebnissen niedriger eingestuft oder sogar aus dem Google-Index entfernt und deshalb nicht mehr in den Suchergebnissen angezeigt.

Mit den folgenden Maßnahmen kannst du aktiv dazu beitragen, Duplicate-Content-Probleme zu vermeiden, und dafür sorgen, dass Besucher die Inhalte sehen, die sie sehen sollen:

Verwende 301-Weiterleitungen: Falls du deine Website neu strukturiert hast, kannst du Nutzer, den Googlebot und andere Spider über 301-Weiterleitungen („RedirectPermanent“) in der .htaccess-Datei intelligent weiterleiten. Diese Weiterleitung lässt sich bei Apache über eine .htaccess-Datei und bei IIS über die Verwaltungskonsole vornehmen.
Achte auf Einheitlichkeit: Verwende immer dieselben internen Links. Beispielsweise solltest du Linkvariationen wie http://www.example.com/page/, http://www.example.com/page und http://www.example.com/page/index.htm nicht gleichzeitig verwenden.
Verwende Top-Level-Domains: Damit wir die richtige Version eines Dokuments zur Verfügung stellen können, solltest du für landesspezifische Inhalte vorzugsweise Top-Level-Domains verwenden. Beispielsweise verweist http://www.example.de eher auf landesspezifische Inhalte für Deutschland als http://www.example.com/de oder http://de.example.com.
Syndiziere sorgfältig: Wenn du deine Inhalte auf anderen Websites syndizierst, wird bei Google immer die Version angezeigt, die wir bei der jeweiligen Suche für die passendste halten. Das ist unter Umständen nicht immer deine bevorzugte Variante. Daher solltest du dafür sorgen, dass jede Website, auf der deine Inhalte syndiziert werden, einen Link zurück zum ursprünglichen Artikel enthält. Du kannst auch die Nutzer deines Materials darum bitten, das Meta-Tag noindex zu verwenden, um die Indexierung ihrer Version der Inhalte durch Suchmaschinen zu unterbinden.
Reduziere wiederkehrende Textbausteine: Anstatt am Ende jeder Seite umfangreiche Urheberrechtshinweise einzufügen, kannst du eine kurze Zusammenfassung mit einem Link zu detaillierten Informationen einfügen.
Vermeide die Veröffentlichung von Platzhaltern: Nutzer mögen keine „leeren“ Seiten. Veröffentliche beispielsweise keine Seiten, für die du noch keine richtigen Inhalte hast. Falls du Platzhalterseiten erstellst, blockiere die Indexierung dieser Seiten mithilfe des Meta-Tags noindex.
Mach dich mit deinem CMS (Content-Management-System) vertraut: Sorge dafür, dass du weißt, wie Inhalte auf deiner Website angezeigt werden. Blogs, Foren und ähnliche Systeme zeigen gleiche Inhalte oft in verschiedenen Formaten an. So kann z. B. ein Blogeintrag sowohl auf der Startseite eines Blogs als auch auf einer Archivseite und auf einer Seite mit anderen Einträgen mit derselben Kennzeichnung erscheinen.
Reduziere ähnliche Inhalte: Falls du viele sehr ähnliche Seiten hast, solltest du entweder die einzelnen Seiten erweitern oder alle Seiten zu einer Seite zusammenfassen. Wenn du beispielsweise eine Reisewebsite hast und darauf zwei Seiten für zwei Städte vorhanden sind, die weitgehend die gleichen Informationen enthalten, kannst du diese Seiten entweder zu einer Seite für beide Städte zusammenfassen oder den jeweiligen Städteseiten weitere, jeweils spezifische Informationen zu den Städten hinzufügen, um sie unähnlicher zu machen.

Es wird nicht empfohlen, den Crawler-Zugriff auf Duplicate Content auf deiner Website zu blockieren, egal ob mit einer robots.txt-Datei oder mit einer anderen Methode. Wenn Suchmaschinen verwehrt wird, Seiten mit Duplicate Content zu crawlen, können sie nicht automatisch erkennen, dass diese URLs auf den gleichen Inhalt verweisen, und müssen sie daher als separate Seiten behandeln. Besser ist es, den Suchmaschinen das Crawlen dieser URLs zu gestatten, diese jedoch mit dem Link-Element rel="canonical" oder 301-Weiterleitungen als Duplikate zu kennzeichnen. Sollte Duplicate Content dazu führen, dass Google zu viele URLs deiner Website crawlt, kannst du zusätzlich in der Search Console die Einstellung zur Crawling-Frequenz anpassen.

Duplicate Content auf einer Website sind kein Grund, Maßnahmen gegen diese Website zu ergreifen, es sei denn, diese Dubletten erwecken den Eindruck, dass Nutzer getäuscht und Suchmaschinenergebnisse manipuliert werden sollen. Falls deine Website Duplicate Content enthält und du den beschriebenen Hinweisen nicht folgst, tun wir trotzdem unser Bestes, nur eine Version der Inhalte für die Anzeige in unseren Suchergebnissen auszuwählen.

Wenn unsere Nachforschungen jedoch ergeben haben, dass ein Täuschungsversuch vorliegt, und deine Website aus unseren Suchergebnissen entfernt wurde, solltest du deine Website sorgfältig überprüfen. Falls die Website aus unseren Suchergebnissen entfernt wurde, erhältst du in unseren Richtlinien für Webmaster ausführlichere Informationen zu diesem Thema. Sobald du deine Website überarbeitet und dafür gesorgt hast, dass sie unseren Richtlinien entspricht, stelle bitte einen Antrag auf erneute Überprüfung der Website.

In seltenen Fällen kann es passieren, dass unser Algorithmus die URL einer externen Website auswählt, auf der deine Inhalte ohne deine Zustimmung gehostet werden. Wenn du denkst, dass eine andere Website deine Inhalte kopiert und dabei gegen das Urheberrechtsgesetz verstößt, kannst du vom Host der Website verlangen, dass deine Inhalte entfernt werden. Außerdem kannst du gemäß dem US-amerikanischen Urheberrechtsgesetz (Digital Millennium Copyright Act) beantragen, dass Google die Seite mit rechtswidrig verwendeten Inhalten aus den Suchergebnissen entfernt. Fülle dazu dieses Formular aus.