Google 사용자 에이전트가 웹사이트와 상호작용하는 방식을 파악하면 서버에 과부하를 주지 않고도 Google 생태계의 더 많은 위치에 가장 중요한 페이지를 표시할 수 있습니다. 사이트 소유자든 개발자든 이 문서를 통해 사이트 크롤링 방식을 더 효과적으로 관리할 수 있습니다.
자세히 알아보기
서버에 액세스하는 웹 크롤러 또는 가져오기 도구가 실제로 Google(예: Googlebot)에서 온 것인지 확인할 수 있습니다.
시작하기
Google 크롤러는 웹사이트와 서버에 자동으로 적응하여 최신 콘텐츠 중 가장 우수한 콘텐츠를 효율적으로 찾아 표시합니다. 서버 및 크롤링과 관련된 긴급한 상황을 관리할 수 있도록 필요한 경우 크롤링 속도를 사전 예방적으로 줄일 수 있습니다.
시작하기
robots.txt 파일을 사용하여 개별 페이지 또는 전체 웹사이트의 크롤링을 허용하거나 차단할 수 있습니다.
시작하기

크롤링 환경설정이 Google에 사이트가 표시되는 위치에 미치는 영향

Google의 크롤링 인프라는 다양한 Google 제품에서 공유됩니다. 즉, 권장사항을 따르면 웹 콘텐츠가 더 효율적으로 검색되고 Google에 표시될 수 있습니다.
Google 검색은 Googlebot을 사용하여 사이트를 크롤링하여 사용자에게 관련성 있는 콘텐츠를 찾습니다.
Google-Extended는 Gemini 앱과 Gemini용 Vertex AI API에서 사용됩니다. Google-Extended에 대해 자세히 알아보기
Storebot-Google 사용자 에이전트로 주소가 지정된 크롤링 환경설정은 Google 쇼핑의 모든 표시 경로에 영향을 미칩니다.
애드센스 크롤러는 참여 사이트를 방문하여 관련성 있는 광고를 게재합니다.
Googlebot 뉴스 사용자 에이전트에 주소가 지정된 크롤링 환경설정은 news.google.com 및 Google 뉴스 앱을 비롯한 Google 뉴스 제품에 영향을 미칩니다.
Google-NotebookLM 가져오기 도구는 NotebookLM 사용자가 프로젝트의 소스로 제공한 개별 URL을 요청합니다.