중복 콘텐츠 생성 방지하기

중복 콘텐츠는 일반적으로 한 도메인 내 또는 여러 도메인 간에 같은 언어로 된 다른 콘텐츠와 완전히 일치하거나 상당히 유사한 실제 콘텐츠 블록을 의미합니다. 중복 콘텐츠의 대부분은 원래 사기성이 아닙니다. 다음은 사기성이 없는 중복 콘텐츠의 예입니다.

일반 페이지 및 휴대기기용으로 간략하게 줄인 페이지를 모두 생성할 수 있는 토론 포럼
복수의 고유한 URL로 표시되거나 연결된 온라인 상점의 상품
웹페이지의 인쇄 전용 버전

사이트에 대부분 동일한 콘텐츠를 포함한 페이지가 여러 개 있는 경우 다양한 방법을 통해 선호하는 URL을 Google에 알릴 수 있습니다. 이것을 '표준화'라고 합니다. 표준화 자세히 알아보기

그러나 검색엔진 순위를 조작하거나 더 많은 트래픽을 얻기 위해 고의로 여러 도메인에 콘텐츠를 중복 사용하는 경우도 있습니다. 이와 같은 사기성 행위가 있을 경우 검색결과에 동일한 콘텐츠가 반복되어 표시되므로 사용자 만족도가 떨어질 수 있습니다.

Google은 고유한 정보가 포함된 페이지의 색인을 생성하고 이러한 페이지를 표시하기 위해 노력하고 있습니다. 예를 들어 필터링이란 각 문서에 '일반' 버전과 '인쇄' 버전이 있고 어느 버전도 noindex 태그로 차단되지 않은 경우 Google에서 하나만 선택하여 표시하는 것을 말합니다. 또한 드문 경우지만 중복 콘텐츠가 Google 순위를 조작하거나 사용자를 속이기 위해 표시되는 것으로 판단될 경우 Google에서 관련 사이트의 색인 및 순위를 적절하게 조정할 수도 있습니다. 그 결과, 사이트 순위가 하락하거나 사이트가 Google 색인에서 완전히 삭제되어 검색결과에 더 이상 나타나지 않을 수도 있습니다.

다음은 중복 콘텐츠 문제를 사전에 해결하고 방문자에게 내가 원하는 콘텐츠가 표시되도록 하기 위해 취할 수 있는 몇 가지 조치입니다.

301 사용: 사이트를 재구성한 경우 .htaccess 파일에서 301 리디렉션('RedirectPermanent')을 사용하여 사용자, Googlebot 및 기타 스파이더를 효과적으로 리디렉션할 수 있습니다. Apache에서는 .htaccess 파일, IIS에서는 관리 콘솔을 사용하면 됩니다.
일관성 유지: 내부 링크를 일관성 있게 유지하세요. 예를 들어 http://www.example.com/page/, http://www.example.com/page, http://www.example.com/page/index.htm과 같은 링크로 연결하지 않는 것이 좋습니다.
최상위 도메인 사용: Google이 가장 적합한 버전의 문서를 제공할 수 있도록 국가별 콘텐츠를 처리할 때는 가능한 한 최상위 도메인을 사용하시기 바랍니다. 예를 들어 http://www.example.com/de 또는 http://de.example.com보다 http://www.example.de를 사용하면 독일 관련 콘텐츠가 포함되어 있다는 것을 더 쉽게 인지할 수 있습니다.
신디케이션은 신중하게: 다른 사이트에 콘텐츠를 신디케이트하는 경우 Google은 항상 각 검색에서 사용자에게 가장 적절하다고 판단되는 버전을 표시하지만, 이는 게시자가 원하는 버전이 아닐 수도 있습니다. 그러나 콘텐츠가 신디케이트되는 각 사이트에 원본 문서로 다시 연결되는 링크를 포함하면 도움이 될 수 있습니다. 또한 검색엔진이 콘텐츠 버전의 색인을 생성하지 못하도록 신디케이트된 자료를 사용하는 사용자에게 noindex 태그를 사용하지 말라고 요청할 수도 있습니다.
반복 어구 최소화: 예를 들어 각 페이지 하단에 긴 저작권 관련 문구를 삽입하는 대신 간략한 요약을 포함한 후 자세한 내용이 있는 페이지로 연결되는 링크를 추가할 수 있습니다.
콘텐츠가 없는 페이지 게시하지 않기: 누구도 '빈' 페이지를 보고 싶어 하지 않습니다. 따라서 자리표시자는 가능한 한 사용하지 않는 것이 좋습니다. 예를 들어, 아직 실제 콘텐츠가 없는 페이지는 게시하지 않는 것이 좋습니다. 자리표시자 페이지를 만드는 경우 noindex 태그를 사용하여 이러한 페이지의 색인이 생성되지 않도록 차단합니다.
콘텐츠 관리 시스템 이해: 콘텐츠가 웹사이트에 표시되는 방식에 익숙해져야 합니다. 블로그, 포럼 및 관련 시스템에는 대개 동일한 콘텐츠가 다양한 형식으로 표시됩니다. 예를 들어 하나의 블로그 항목이 블로그 홈페이지, 자료 보관 페이지, 동일한 라벨이 있는 기타 항목 페이지에 모두 나타날 수 있습니다.
유사한 콘텐츠 최소화: 유사한 페이지가 여러 개 있는 경우, 각 페이지를 확장하거나 여러 페이지를 하나로 통합하세요. 예를 들어 두 도시에 관한 개별 페이지가 포함된 여행 사이트에서 두 페이지의 정보가 동일한 경우, 이러한 페이지를 두 도시 모두에 관한 하나의 페이지로 병합하거나 각 페이지를 확장하여 각 도시에 관한 고유한 콘텐츠를 제공할 수 있습니다.

robots.txt 파일로든 그밖의 다른 방법으로든 Google에서는 웹사이트의 중복 콘텐츠에 대한 크롤러 액세스를 차단하는 것을 권장하지 않습니다. 검색엔진이 중복 콘텐츠가 있는 페이지를 크롤링할 수 없으면 이러한 URL이 동일한 콘텐츠로 연결된다는 사실을 자동으로 감지할 수 없으므로 사실상 이를 별개의 고유한 페이지로 처리해야 합니다. 더 좋은 방법은 검색엔진에 이러한 URL을 크롤링하도록 허용하되 rel="canonical" 링크 요소 또는 301 리디렉션 등을 사용하여 URL을 중복 페이지로 표시하는 것입니다. 콘텐츠가 중복되어 웹사이트를 지나치게 많이 크롤링하는 경우 Search Console에서 크롤링 속도 설정을 조정할 수도 있습니다.

중복 콘텐츠가 사용자를 속이고 검색엔진 결과를 조작할 의도로 사용되었다고 판단되지 않는 한 중복 콘텐츠가 있다는 이유만으로 사이트에 조치가 취해지지는 않습니다. 사이트에 중복 콘텐츠 문제가 있지만 이 문서에 나와 있는 도움말을 따르지 않은 경우에는 Google에서 검색결과에 표시할 콘텐츠 버전을 적절히 선택합니다.

그러나 Google의 검토 결과 사기 행위가 발생했다고 판단되어 사이트가 Google 검색결과에서 삭제된 경우에는 사이트를 신중히 검토해 보시기 바랍니다. 사이트가 Google 검색결과에서 삭제된 경우 자세한 내용을 보려면 Google 웹마스터 가이드라인을 검토하시기 바랍니다. 필요한 사항을 수정한 후 사이트가 더 이상 Google의 가이드라인을 위반하지 않는다는 확신이 들면 사이트 재검토 요청을 제출하세요.

드물긴 하지만, Google 알고리즘이 사용자의 허락 없이 콘텐츠를 호스팅하는 외부 사이트의 URL을 선택할 수 있습니다. 다른 사이트가 저작권법을 위반하고 내 콘텐츠를 복제했다고 생각되면 해당 사이트의 호스트에 연락하여 삭제를 요청할 수 있습니다. 또한 권리를 침해하는 페이지를 검색결과에서 삭제하도록 Google에 디지털 밀레니엄 저작권법(Digital Millennium Copyright Act)에 따라 요청을 제출할 수 있습니다.