'NOINDEX'를 사용하여 검색 색인 생성 차단하기

페이지의 HTML 코드에 noindex 메타 태그를 포함하거나 HTTP 요청에서 noindex 헤더를 반환하여 Google 검색에 페이지가 표시되지 않게 할 수 있습니다. Googlebot이 다음에 페이지를 크롤링할 때 태그나 헤더를 발견하면 Googlebot은 다른 사이트가 페이지에 연결되어 있는지와 관계없이 페이지 전체를 Google 검색결과에서 제외합니다.

noindex를 사용하면 페이지별로 사이트 액세스 권한을 제어할 수 있으므로 서버에 대한 루트 액세스 권한이 없는 경우 유용합니다.

noindex 구현하기

noindex는 메타 태그 및 HTTP 응답 헤더의 두 가지 방법으로 구현할 수 있습니다. 두 방법의 효과는 동일하며 사이트에 더 편리한 방법을 선택하면 됩니다.

<meta> 태그

대부분의 검색엔진 웹 크롤러에서 사이트 페이지의 색인을 생성하지 못하도록 하려면 다음 메타 태그를 페이지의 <head> 섹션에 삽입합니다.

<meta name="robots" content="noindex">

Google 웹 크롤러만 페이지의 색인을 생성하지 못하게 하려면 다음을 추가합니다.

<meta name="googlebot" content="noindex">

일부 검색엔진 웹 크롤러는 noindex 명령어를 다르게 해석할 수도 있습니다. 따라서 내 페이지가 다른 검색엔진의 검색결과에는 여전히 표시될 수 있습니다.

noindex 메타 태그 자세히 알아보기

Google에 메타 태그 알리기

메타 태그를 보려면 페이지를 크롤링해야 합니다. 태그를 추가한 후 Google에서 사이트를 아직 크롤링하지 않았다면 페이지는 계속 검색결과에 표시됩니다. URL 검사 도구를 사용하여 페이지를 다시 크롤링하도록 Google에 요청할 수 있습니다. robots.txt 파일에서 Google 웹 크롤러가 이 URL을 크롤링하지 못하도록 차단하여 Google에서 태그를 인식하지 못하는 경우에도 페이지가 검색결과에 계속 표시됩니다. Google로부터의 페이지 차단을 해제하려면 robots.txt 파일을 수정해야 합니다. robots.txt 테스터 도구를 사용하여 robots.txt를 수정 및 테스트할 수 있습니다.

HTTP 응답 헤더

메타 태그 대신 응답에서 noindex 또는 none 값이 있는 X-Robots-Tag 헤더를 반환할 수도 있습니다. 다음은 페이지의 색인을 생성하지 않도록 크롤러에 지시하는 X-Robots-Tag가 포함된 HTTP 응답의 예입니다.

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

noindex 응답 헤더 자세히 알아보기