2026년 3월 31일 화요일
Search Off the Record 팟캐스트 105화를 청취하셨다면 Googlebot의 내부 작동 방식이라는 Google의 심장(및 서버)에 가까운 주제를 심층적으로 다루는 내용을 들으셨을 것입니다.
오랫동안 'Googlebot'이라는 이름은 인터넷을 체계적으로 읽는 지치지 않는 단일 로봇의 이미지를 떠올리게 했습니다. 하지만 현실은 조금 더 복잡하고 훨씬 더 흥미롭습니다. 오늘은 Google의 크롤링 인프라를 자세히 살펴보고, 특히 저희조차 머리가 아플 정도인 바이트 크기 제한에 초점을 맞춰 설명해 드리겠습니다.
첫째, Googlebot은 단일 프로그램이 아닙니다
과거부터 잘못 사용되어 온 명칭부터 바로잡아 보겠습니다. 2000년대 초반, Google은 하나의 제품만을 운영했기에 크롤러도 하나뿐이었고, 이때 'Googlebot'이라는 이름이 굳어졌습니다. 하지만 오늘날의 Googlebot은 중앙 집중식 크롤링 플랫폼과 유사한 시스템을 이용하는 클라이언트일 뿐입니다.
서버 로그에서 Googlebot을 확인하면, 이는 Google 검색의 크롤링 요청을 확인하는 것입니다. Google 쇼핑, 애드센스 등 수십 개의 다른 클라이언트도 모두 동일한 기반 인프라를 통해 서로 다른 크롤러 이름으로 크롤링 요청을 전송하며, 규모가 큰 클라이언트는 Google 크롤러 인프라 사이트에 문서화되어 있습니다.
2MB 제한: 바이트는 어떻게 되나요?
여기서부터는 다소 혼란스러울 수 있습니다. 크롤러 인프라의 모든 클라이언트는 가져오기에 대한 몇 가지 설정을 지정해야 합니다. 이러한 설정에는 사용자 에이전트 문자열, robots.txt에서 찾을 사용자 에이전트 토큰, 단일 URL에서 가져올 바이트 수가 포함됩니다.
Googlebot은 현재 개별 URL(PDF 제외)에 대해 최대 2MB를 가져옵니다. 즉, HTTP 헤더를 포함하여 리소스의 처음 2MB만 크롤링합니다. PDF 파일의 경우 한도는 64MB입니다.
이미지 및 동영상 크롤러는 일반적으로 매우 다양한 임계값을 가지며, 이는 크롤러가 데이터를 수집해 주는 제품에 따라 크게 달라집니다. 예를 들어 파비콘을 가져올 때는 이미지 검색과 달리 한도가 매우 낮을 수 있습니다.
별도의 한도를 지정하지 않은 다른 크롤러의 경우, 콘텐츠 유형에 관계없이 기본값은 15MB입니다.
이는 서버가 전송하는 바이트에는 어떤 의미가 있을까요?
-
부분 가져오기: HTML 파일이 2MB보다 크면 Googlebot은 페이지를 거부하지 않습니다. 대신 정확히 2MB 한도에서 가져오기를 중지합니다. 한도에는 HTTP
요청응답 헤더가 포함됩니다. - 컷오프 처리: 다운로드된 부분(처음 2MB 바이트)은 완전한 파일인 것처럼 Google의 색인 시스템과 웹 렌더링 서비스(WRS)에 전달됩니다.
- 보이지 않는 바이트: 2MB 임계값 이후에 존재하는 모든 바이트는 완전히 무시됩니다. 가져오지도 않고, 렌더링하지도 않으며, 색인을 생성하지도 않습니다.
- 리소스 가져오기: HTML에서 참조되는 모든 리소스(미디어, 글꼴, 일부 특이한 파일 제외)는 상위 HTML과 마찬가지로 Googlebot을 사용하여 WRS에서 가져옵니다. 각 리소스에는 URL별로 별도의 바이트 카운터가 있으며 상위 페이지의 크기에 포함되지 않습니다.
대부분의 웹에서 2MB HTML 페이로드는 매우 크며 이 한도에 도달하지 않습니다. 하지만 페이지에 용량이 큰 인라인 base64 이미지나 방대한 양의 인라인 CSS/JavaScript 블록이 포함되어 있거나, 시작 부분에 수 MB 분량의 메뉴가 있으면 실제 텍스트 콘텐츠나 중요한 구조화된 데이터가 의도치 않게 2MB 지점 뒤로 밀려날 수 있습니다. 이러한 중요한 바이트를 가져오지 않으면 Googlebot에게는 존재하지 않는 것으로 간주됩니다.
바이트 렌더링
크롤러가 바이트를 최대 한도까지 가져오면 WRS에 바이트를 전달합니다. WRS는 최신 브라우저와 유사한 방식으로 JavaScript를 처리하고 클라이언트 측 코드를 실행하여 페이지의 최종 시각적 상태와 텍스트 상태를 파악합니다. 렌더링은 JavaScript 및 CSS 파일을 가져와 실행하고 XHR 요청을 처리하여 페이지의 텍스트 콘텐츠와 구조를 더 잘 이해합니다(이미지나 동영상은 요청하지 않음). 요청된 각 리소스에도 2MB 한도가 적용됩니다.
하지만 WRS는 크롤러가 실제로 가져온 코드만 실행할 수 있습니다. 또한 WRS는 상태를 유지하지 않는 방식으로 작동하므로 요청 간에 로컬 스토리지와 세션 데이터를 지웁니다. 이는 동적 JavaScript 종속 요소가 Google 시스템에서 해석되는 방식에 영향을 미칠 수 있습니다.
바이트 권장사항
Googlebot이 콘텐츠를 효율적으로 가져오고 이해할 수 있도록 다음 바이트 수준 권장사항을 참고하세요.
- HTML을 간결하게 유지: 용량이 큰 CSS 및 JavaScript를 외부 파일로 이동합니다. 초기 HTML 문서는 2MB로 제한되지만 외부 스크립트와 스타일 시트는 별도로 가져옵니다(자체 한도 적용).
-
순서가 중요합니다. 메타 태그,
<title>요소,<link>요소, 표준 URL(canonical), 필수 구조화된 데이터와 같은 가장 중요한 요소를 HTML 문서의 상단에 배치합니다. 이렇게 하면 컷오프될 가능성이 낮아집니다. - 서버 로그 모니터링: 서버 응답 시간을 모니터링합니다. 서버에서 바이트를 제공하는 데 어려움을 겪는 경우 Google 크롤러는 인프라에 과부하가 걸리지 않도록 자동으로 작동 속도를 늦추며, 이로 인해 크롤링 빈도가 감소하게 됩니다.
이 한도는 확정된 것이 아니며 웹이 발전하고 HTML 페이지의 크기가 커지면서 시간이 지남에 따라 변경될 수 있습니다. (또는 축소, 축소되기를 바랍니다.)
크롤링은 마법이 아니라 바이트를 체계적으로 대규모로 주고받는 과정입니다. Google의 중앙 가져오기 인프라가 이러한 바이트를 가져오고 제한하는 방식을 이해하면 사이트의 가장 중요한 콘텐츠가 항상 포함되도록 할 수 있습니다.
감사합니다.
비하인드 스토리에 대해 자세히 알아보려면 YouTube 또는 팟캐스트를 들을 수 있는 플랫폼에서 Search Off the Record 팟캐스트 105화를 확인하세요.