원본에 과부하를 주지 않고(또는 Googlebot을 차단하지 않고) CDN으로 이전하기

2026년 11월 11일 수요일

콘텐츠 전송 네트워크(CDN)를 배포하여 사용자에게 더 가까운, 전 세계에 분산된 빠른 에지 서버에 사이트의 애셋을 배포하면 성장하는 사이트를 크게 업그레이드할 수 있습니다. 방문자 지연 시간이 줄어들고 원본 서버(원본 콘텐츠를 보유하는 백엔드 정보 소스)가 과도한 트래픽으로부터 보호됩니다.

완벽하지 않나요? 음… 전환 단계는 조금 이상할 수 있습니다.

사이트를 CDN 뒤에 배치한 직후 서버에 대한 크롤러 트래픽이 거의 즉시 급증한다는 사이트 소유자의 의견을 듣는 경우가 있습니다. 이는 사이트 소유자가 해결하려고 했던 문제입니다. 에지 서버가 캐시를 채우기 전에 사용자 방문과 크롤러 요청을 원본에서 직접 가져와야 합니다.

CDN으로 이전할 때는 크롤링 예산의 작동 방식과 긴급 상황에서 Google의 크롤링 속도를 줄이는 방법을 모두 검토하는 것이 좋습니다. 이 블로그 게시물에서는 이러한 이전에서 예상되는 사항과 관련된 몇 가지 문제를 안내합니다. 이러한 이유로 The Non-Canonical Cabinet 에피소드 5에서는 안전모를 쓰고 소방 호스를 든 채 전환 과정을 안내해 드립니다. CDN으로 이전한 후 새로운 트래픽이 궁금하거나 실수로 사이트가 Google 검색에서 제외되는 것을 방지하고 싶다면 이 동영상을 시청하세요.

그렇다면 왜 모든 것이 한꺼번에 크롤링되는 걸까요?

CDN으로 전환하면 Google의 크롤링 인프라가 사이트의 크롤링 용량 한도(호스트 부하라고도 함)를 계산하는 방식 때문에 크롤러 트래픽이 급증할 수 있습니다.

  • 응답이 느려질수록 크롤링 속도가 느려집니다. Google의 자동 크롤링 인프라는 호스트 서버의 상태와 응답성을 지속적으로 모니터링합니다. 응답 시간이 길어지면 Google 크롤러는 서버에 과부하가 걸리지 않도록 하고 사이트의 사용자 환경이 저하되지 않도록 속도를 늦춥니다.
  • 빠르고 안정적인 응답은 크롤링 속도를 높입니다. 서버가 빠르고 일관되게 응답하면 Google 시스템은 이 속도를 정상적이고 유능한 인프라의 신호로 해석합니다. 크롤링 수요가 있는 경우 크롤링 용량 한도가 점진적으로 증가합니다.

DNS가 빠른 CDN 에지 네트워크를 가리키는 순간 연결 시간과 응답 시간이 크게 줄어듭니다. Google 크롤링 시스템에는 서버가 대규모 하드웨어 업그레이드를 받은 것처럼 보이므로 크롤러가 이에 맞게 요청 비율을 높이기 시작합니다.

문제. 에지 서버에서 캐시 부적중이 발생합니다.

CDN이 에지에서 이러한 모든 요청을 흡수한다면 크롤링 속도가 빨라도 문제가 되지 않습니다. 문제는 새 CDN이 비어 있는(콜드) 캐시로 시작한다는 것입니다.

에지 위치에서 URL을 처음 요청할 때 CDN에는 아직 해당 애셋(HTML 문서, CSS, JavaScript, 이미지 등)의 사본이 없습니다. 이를 캐시 부적중이라고 합니다. 요청을 처리하려면 에지 서버가 원본 서버로 다시 '이동'하여 응답을 가져오고 캐시 가능한 사본을 저장한 다음 클라이언트에 제공해야 합니다. 동일한 캐시된 URL에 대한 후속 요청만 원본을 방해하지 않고 에지에서 직접 제공되는 캐시 적중이 됩니다. (동영상에서 에지 서버는 포스트잇 더미를 오가며 달리는 고무 닭으로 표현되었습니다. 네트워킹 다이어그램은 주관적입니다.)

기본적으로 CDN 출시 중 실제 병목 현상은 여전히 원본 서버입니다.

사람 방문자는 일반적으로 CDN 캐시에서 빠르게 준비되는 비교적 작은 인기 페이지 집합(홈페이지, 인기 기사 또는 활성 프로모션)에 모입니다. 크롤러는 이와 정반대입니다. 크롤러의 역할은 URL 인벤토리의 범위를 체계적으로 탐색하는 것입니다.

이제 이 두 동작을 결합합니다.

  1. 빠른 에지 응답은 Google 크롤러에 더 빠르게 크롤링해도 안전하다는 신호를 보냅니다.
  2. 크롤러가 처음으로 많은 수의 URL을 처리할 때 캐시되지 않은 모든 URL은 원본 서버로 바로 전달되는 캐시 부적중을 트리거합니다.

크롤러는 크롤링 속도를 즉시 높이지 않으며, 많은 CDN에는 트래픽 급증을 완화하는 데 도움이 되는 연결 속도 조절 기능이 내장되어 있습니다. 그렇더라도 에지 캐시가 채워질 때까지(워밍업) CDN은 아직 보호막 역할을 하지 않으며 원본 서버가 여전히 과중한 작업을 수행합니다.

크롤링하지 마세요. 일괄적인 봇 보호가 과도한 경우

이전 직후 원본 로그에서 자동 요청이 예기치 않게 급증하는 경우, 관리자는 이러한 현상이 발생하는 이유를 명확히 알지 못하면 불안해할 수 있습니다. 캐시가 준비될 때 요청 그래프가 급증하는 것을 보면 CDN 대시보드에 로그인하여 일괄 봇 보호를 사용 설정하여 이 문제를 해결하려고 할 수 있습니다. 체리의 말을 인용하자면, "봇은 통과할 수 없다"입니다.

신호등과 고무 닭이 있는 그리드에서 신호등이 있는 모든 사각형을 선택하라는 모의 보안문자 챌린지

일괄 보안 규칙의 문제는 이름에 있습니다. 예외가 없으면 관심 있는 크롤러의 트래픽을 포함하여 모든 자동 트래픽을 동일하게 처리합니다. CDN 또는 웹 애플리케이션 방화벽(WAF)이 자동 요청에 플래그를 지정하고 보안문자와 같은 테스트로 요청을 가로채면 Google 크롤러가 테스트를 통과하지 못합니다. (Googlebot은 다양한 능력을 갖추고 있지만 신호등과 닭을 찾는 것은 그중 하나가 아닙니다. 사실 게리도 가끔은 해결하지 못합니다.)

확인된 크롤러를 제외하지 않고 일괄 봇 보호를 사용 설정하면 크롤러가 기본적으로 Google 검색 또는 크롤링된 데이터에 의존하는 다른 제품에 유용하지 않은 오류 페이지에서 멈추게 됩니다. Google에서 확인한 결과, 귀하의 웹사이트가 의도적으로 제한되거나 손상된 것으로 보입니다. 그대로 두면 Google 크롤러가 물러나고 페이지, 제품 등록정보, 닭 사진이 Google 검색에서 제외되기 시작합니다.

원본을 손상시키지 않고 CDN을 학습시키는 방법

CDN을 배포하기 위해 소방관을 고용할 필요는 없습니다. 다음과 같은 적절한 기대치와 전략이 필요합니다.

  1. 봇을 차단해야 하는 경우 CDN 및 방화벽 설정에서 확인된 봇을 허용하세요. 대부분의 주요 CDN 및 WAF는 알려진/확인된 봇을 허용하는 기본 제공 전환 버튼 또는 관리형 규칙을 제공하므로, 선호하는 크롤러가 보안문자 테스트를 우회하면서 원치 않는 트래픽을 필터링할 수 있습니다(Google에서 게시한 IP 범위를 통해 Google 크롤러를 식별할 수 있음). 또는 robots.txt 파일을 구성하거나 규칙을 사용하여 모든 자동 클라이언트를 차단하는 대신 원치 않는 특정 봇을 타겟팅하는 것이 좋습니다.
  2. 트래픽이 몰리기 전에 캐시를 미리 준비하세요. 새 CDN을 통해 모든 트래픽을 라우팅하기 전에 에지 캐시가 트래픽을 처리할 수 있도록 제어된 속도로 CDN을 통해 트래픽이 가장 많은 예정된 피크 트래픽 페이지(예: 프로모션 또는 시즌 출시)와 가장 자주 크롤링되는 URL을 프로그래매틱 방식으로 가져옵니다. 또는 게리와 달리 실제로 친구가 있다면 친구에게 각각 두 개의 고유 URL에 액세스하도록 요청해도 됩니다.
  3. 일시적인 제한이 필요한 경우 429 또는 503를 사용하세요. 캐시가 준비되는 동안 크롤링 볼륨이 여전히 원본에 심각한 부하를 가하는 경우 Google 크롤링 속도를 긴급하게 줄이는 방법에 관한 가이드에 설명된 대로 짧은 기간(몇 시간 또는 최대 1~2일) 동안 429 (Too Many Requests) 또는 503 (Service Unavailable) HTTP 상태 코드를 반환하도록 서버 또는 CDN 비율 제한 규칙을 구성하세요.

요약(누가 요약을 마지막에 넣나요?!)

서버 캐비닛에 이더넷 케이블을 감고 하루를 마무리하기 전에 CDN으로 이전할 때 다음 세 가지를 기억하세요.

  • 빠른 응답은 빠른 크롤링을 의미: CDN 에지 지연 시간이 짧으면 사이트가 정상이고 더 빠른 크롤링 속도를 처리할 수 있다는 신호를 Google 크롤러에 보냅니다.
  • 캐시는 두 번째 방문 시에만 보호: 콜드 캐시에서 모든 고유 URL에 대한 첫 번째 요청은 원본 서버로 바로 이동하는 캐시 부적중입니다. 가능한 경우 캐시를 미리 준비합니다.
  • 필요한 경우 인증된 크롤러를 봇 챌린지에서 제외: 포괄적인 WAF 또는 CAPTCHA 규칙이 403 벽 또는 챌린지 페이지로 Google 크롤러를 차단하지 않도록 합니다. 인증된 봇 예외를 사용하고 원본에 휴식이 필요한 경우 임시 429 또는 503 응답을 사용합니다.

재미없으신가요? 에피소드 보기

The Non-Canonical Cabinet 시즌 1 마지막회(에피소드 5)를 시청하세요. 플라스틱 건설용 안전모, 연기가 나는 서류 캐비닛, 에지 서버를 대신하는 고무 닭을 사용하여 네트워크 아키텍처를 설명합니다. 이 중 어느 것도 원래 직무 설명에 없었던 것이 확실합니다.

시즌 1 전체를 시청하고 싶으신가요? URL과 robots.txt를 중단하려고 시도했습니다. 404 및 리디렉션에 대해 이야기했습니다. 5개 에피소드 모두 보기. 가금류 과부하를 보장합니다.

다음 시즌(예산 보류 중)에 (약간 구운) 캐비닛에서 꺼내고 싶은 이상한 극단적인 사례가 있나요? 동영상에 댓글을 남기세요.

캐시를 따뜻하게 유지하고, 방화벽을 깔끔하게 정리하고, 고무 닭을 버블랩으로 감싸세요.