'NOINDEX'를 사용하여 검색 색인 생성 차단

페이지의 HTML 코드에 noindex 메타 태그를 포함하거나 HTTP 응답에서 noindex 헤더를 반환하여 Google 검색에 페이지가 표시되지 않게 할 수 있습니다. Googlebot이 다음에 페이지를 크롤링할 때 태그나 헤더를 발견하면 Googlebot은 다른 사이트가 페이지에 연결되어 있는지와 관계없이 페이지 전체를 Google 검색결과에서 제외합니다.

noindex를 사용하면 페이지별로 사이트 액세스 권한을 제어할 수 있으므로 서버에 대한 루트 액세스 권한이 없는 경우 유용합니다.

noindex 구현

noindex는 메타 태그 및 HTTP 응답 헤더의 두 가지 방법으로 구현할 수 있습니다. 두 방법의 효과는 동일하며 사이트에 더 편리한 방법을 선택하면 됩니다.

<meta> 태그

대부분의 검색엔진 웹 크롤러에서 사이트 페이지의 색인을 생성하지 못하도록 하려면 다음 메타 태그를 페이지의 <head> 섹션에 삽입합니다.

<meta name="robots" content="noindex">

Google 웹 크롤러만 페이지의 색인을 생성하지 못하게 하려면 다음을 추가합니다.

<meta name="googlebot" content="noindex">

일부 검색엔진 웹 크롤러는 noindex 명령어를 다르게 해석할 수도 있습니다. 따라서 내 페이지가 다른 검색엔진의 검색결과에는 여전히 표시될 수 있습니다.

noindex 메타 태그 자세히 알아보기

HTTP 응답 헤더

메타 태그 대신 응답에서 noindex 또는 none 값이 있는 X-Robots-Tag 헤더를 반환할 수도 있습니다. 다음은 페이지의 색인을 생성하지 않도록 크롤러에 지시하는 X-Robots-Tag가 있는 HTTP 응답의 예입니다.

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

noindex 응답 헤더 자세히 알아보기

Google에 메타 태그 알리기

메타 태그와 HTTP 헤더를 확인하려면 페이지를 크롤링해야 합니다. 페이지가 계속 검색결과에 표시된다면 태그를 추가한 이후 Google에서 페이지를 크롤링하지 않았기 때문일 수 있습니다. URL 검사 도구를 사용해 Google에 페이지를 다시 크롤링하도록 요청하세요. robots.txt 파일에서 Google 웹 크롤러가 이 URL을 크롤링하지 못하도록 차단하여 Google에서 태그를 인식하지 못하는 경우에도 페이지가 검색결과에 계속 표시됩니다. Google로부터의 페이지 차단을 해제하려면 robots.txt 파일을 수정해야 합니다. robots.txt 테스터 도구를 사용하여 robots.txt를 수정 및 테스트할 수 있습니다.