페이지의 색인 생성이 차단됨

페이지가 검색엔진 크롤러에 의한 색인 생성을 명시적으로 차단하지 않는 경우에만 검색엔진이 검색결과에 페이지를 표시할 수 있습니다. 일부 HTTP 헤더와 메타 태그는 크롤러에 페이지의 색인을 생성하면 안 된다고 알립니다.

검색결과에 표시되기를 원치 않는 콘텐츠의 색인 생성만 차단하세요.

Lighthouse 색인 생성 감사 실패 방법

Lighthouse는 검색엔진이 색인을 생성할 수 없는 페이지를 신고합니다.

검색엔진이 페이지의 색인을 생성할 수 없음을 보여주는 Lighthouse 감사

Lighthouse는 모든 검색엔진 크롤러를 차단하는 헤더 또는 요소만 확인합니다. 예를 들어 아래의 <meta> 요소는 모든 검색엔진 크롤러 (로봇이라고도 함)가 페이지에 액세스하지 못하게 합니다.

<meta name="robots" content="noindex"/>

이 HTTP 응답 헤더는 모든 크롤러를 차단합니다.

X-Robots-Tag: noindex

다음과 같이 특정 크롤러를 차단하는 <meta> 요소가 있을 수도 있습니다.

<meta name="Googlebot" content="noindex"/>

Lighthouse는 이와 같은 크롤러별 지시어에 대한 감사에는 통과하지 못하지만 여전히 페이지를 찾기 어렵게 만들 수 있으므로 주의해서 사용하세요. 크롤러별 지시어가 일반적인 색인 생성 봇을 차단하는 경우 Lighthouse에서 경고를 표시합니다.

검색엔진이 페이지를 크롤링할 수 있도록 하는 방법

먼저 검색엔진이 페이지의 색인을 생성하도록 해야 합니다. 사이트맵 또는 법적 콘텐츠와 같은 일부 페이지는 일반적으로 색인이 생성되지 않아야 합니다. (색인 생성을 차단해도 사용자가 URL을 알고 있는 경우 페이지에 액세스하는 것을 막을 수는 없습니다.)

색인을 생성할 페이지의 경우 검색엔진 크롤러를 차단하는 HTTP 헤더나 <meta> 요소를 삭제합니다. 사이트를 설정하는 방법에 따라 아래 단계의 일부 또는 전체를 실행해야 할 수 있습니다.

  • HTTP 응답 헤더를 설정하는 경우 X-Robots-Tag HTTP 응답 헤더를 삭제합니다.
X-Robots-Tag: noindex
  • 페이지 헤드에 다음 메타 태그가 있으면 삭제하세요.
<meta name="robots" content="noindex">
  • 특정 크롤러를 차단하는 메타 태그가 페이지 헤드에 있다면 사용하지 마세요. 예를 들면 다음과 같습니다.
<meta name="Googlebot" content="noindex">

관리 기능 추가 (선택사항)

검색엔진에서 페이지의 색인을 생성하는 방식을 더 세밀하게 제어할 수 있습니다. 예를 들어 Google에서 이미지의 색인을 생성하는 대신 나머지 페이지의 색인을 생성하길 원할 수 있습니다.

특정 검색엔진의 <meta> 요소 및 HTTP 헤더를 구성하는 방법에 관한 자세한 내용은 다음 가이드를 참고하세요.

자료