Chuyển sang CDN mà không gây quá tải cho máy chủ ban đầu (hoặc chặn Googlebot)

Thứ Tư, ngày 11 tháng 11 năm 2026

Việc triển khai Mạng phân phối nội dung (CDN) để phân phối các thành phần của trang web trên các máy chủ biên phân tán toàn cầu tốc độ cao và gần người dùng hơn có thể là một bước nâng cấp lớn đối với mọi trang web đang phát triển: CDN giúp giảm độ trễ cho khách truy cập và bảo vệ máy chủ gốc (nguồn đáng tin cậy ở phần phụ trợ chứa nội dung gốc của bạn) khỏi lưu lượng truy cập lớn.

Nghe có vẻ hoàn hảo đúng không? Tuy nhiên... có chút khác thường ở giai đoạn chuyển đổi.

Đôi khi, chúng tôi nghe chủ sở hữu trang web bảo rằng ngay sau khi đưa trang web của họ vào CDN, lưu lượng truy cập của trình thu thập dữ liệu vào máy chủ của họ tăng vọt gần như ngay lập tức, đây chính là vấn đề mà họ đang tìm cách khắc phục. Trước khi các máy chủ biên đó điền sẵn vào bộ nhớ đệm, cả các lượt truy cập của người dùng và yêu cầu của trình thu thập dữ liệu vẫn cần được tìm nạp trực tiếp từ nguồn.

Khi chuyển sang CDN, bạn nên xem xét cả cách thức hoạt động của hạn mức thu thập dữ liệu và cách giảm tốc độ thu thập dữ liệu của Google trong trường hợp khẩn cấp. Bài đăng này trên blog nhằm hướng dẫn bạn những điều cần lưu ý khi thực hiện hoạt động di chuyển như vậy cũng như một số thách thức liên quan. Đó cũng là lý do chúng tôi "lên đồ" đầy đủ (có cả mũ bảo hộ và vòi cứu hoả) để hướng dẫn bạn cách tiến hành quy trình chuyển đổi trong Tập 5 của loạt video The Non-Canonical Cabinet. Nếu bạn từng chuyển sang CDN và thắc mắc về tất cả lưu lượng truy cập mới, hoặc nếu bạn muốn tránh việc vô tình khiến trang web của mình bị loại khỏi Tìm kiếm, thì đây chính là nội dung dành cho bạn!

Vậy tại sao quá trình thu thập dữ liệu lại diễn ra đồng loạt ở mọi nơi?

Khi bạn chuyển sang CDN, lưu lượng truy cập của trình thu thập dữ liệu có thể tăng đột biến do cách thức mà cơ sở hạ tầng thu thập dữ liệu của Google tính toán giới hạn công suất thu thập dữ liệu (còn gọi là tải máy chủ lưu trữ (hostload)) của trang web:

  • Phản hồi ngày càng chậm làm giảm tốc độ thu thập dữ liệu. Cơ sở hạ tầng thu thập dữ liệu tự động của Google liên tục theo dõi tình trạng và khả năng phản hồi của máy chủ lưu trữ. Khi thời gian phản hồi tăng lên, trình thu thập dữ liệu của chúng tôi sẽ chậm lại để không làm quá tải máy chủ của bạn và tránh làm trải nghiệm người dùng trên trang web của bạn kém đi.
  • Phản hồi nhanh và ổn định giúp tăng tốc độ thu thập dữ liệu. Khi một máy chủ phản hồi nhanh và nhất quán, các hệ thống của chúng tôi sẽ diễn giải tốc độ đó là dấu hiệu cho thấy cơ sở hạ tầng hoạt động tốt và có khả năng đáp ứng. Nếu có nhu cầu thu thập dữ liệu, giới hạn công suất thu thập dữ liệu sẽ tăng dần.

Ngay khi DNS của bạn trỏ đến một mạng biên CDN tốc d0p76 cao, thời gian kết nối và thời gian phản hồi sẽ giảm đáng kể. Đối với các hệ thống thu thập dữ liệu của chúng tôi, có vẻ như máy chủ của bạn vừa được nâng cấp phần cứng đáng kể, vì vậy, trình thu thập dữ liệu của chúng tôi bắt đầu tăng tỷ lệ yêu cầu cho phù hợp.

Vấn đề là đây. Thiếu bộ nhớ đệm trên máy chủ biên.

Tốc độ thu thập dữ liệu cao hơn sẽ không phải là vấn đề nếu CDN xử lý tất cả yêu cầu đó ở máy chủ biên. Vấn đề là một CDN hoàn toàn mới sẽ bắt đầu với bộ nhớ đệm trống (lạnh).

Trong yêu cầu đầu tiên đối với một URL tại một vị trí biên, CDN chưa có bản sao của thành phần đó (tài liệu HTML, CSS, JavaScript, hình ảnh, v.v.); đó là trường hợp thiếu bộ nhớ đệm. Để thực hiện yêu cầu này, máy chủ biên phải "quay lại" máy chủ ban đầu, tìm nạp phản hồi, lưu trữ một bản sao có thể lưu vào bộ nhớ đệm cho chính máy chủ biên đó, rồi phân phát cho ứng dụng khách. Chỉ những yêu cầu tiếp theo đối với cùng một URL được lưu vào bộ nhớ đệm mới trở thành kết quả tìm kiếm trong bộ nhớ cache được phân phát trực tiếp từ máy chủ biên mà không ảnh hưởng đến máy chủ ban đầu của bạn. (Trong video của chúng tôi, máy chủ biên được đại diện bằng một con gà cao su chạy tới chạy lui đến một chồng giấy ghi chú. Các sơ đồ mạng thì mang tính chủ quan.)

Về cơ bản, nút thắt cổ chai thực sự trong quá trình khởi chạy CDN vẫn là máy chủ ban đầu.

Khách truy cập là con người thường tập trung vào một nhóm tương đối nhỏ gồm các trang phổ biến (trang chủ, bài viết hàng đầu hoặc chương trình khuyến mãi đang hoạt động) và các trang này nhanh chóng làm nóng bộ nhớ đệm CDN. Trình thu thập dữ liệu thì hoàn toàn ngược lại. Công việc của trình thu thập dữ liệu là khám phá một cách có hệ thống phạm vi của kho URL.

Giờ thì hãy kết hợp hai hành vi đó:

  1. Phản hồi nhanh ở máy chủ biên báo hiệu cho trình thu thập dữ liệu của Google rằng có thể thu thập dữ liệu nhanh hơn.
  2. Khi trình thu thập dữ liệu xử lý số lượng lớn URL đó lần đầu tiên, mỗi URL không được lưu vào bộ nhớ đệm sẽ kích hoạt một trường hợp thiếu bộ nhớ đệm và chuyển thẳng đến máy chủ ban đầu của bạn.

Trình thu thập dữ liệu không làm tăng tốc độ thu thập dữ liệu ngay lập tức, cũng như nhiều CDN có tính năng điều chỉnh tốc độ kết nối tích hợp giúp giảm bớt lưu lượng truy cập tăng đột biến. Mặc dù vậy, cho đến khi bộ nhớ đệm máy chủ biên được điền sẵn (làm nóng), CDN của bạn vẫn chưa hoạt động dưới vai trò là một lá chắn, máy chủ nam đầu của bạn vẫn đang thực hiện công việc nặng nhọc.

Bạn không được thu thập dữ liệu! Trường hợp tính năng bảo vệ chống bot diện rộng hoạt động quá mức

Có thể việc thấy lưu lượng truy cập tăng đột biến ngoài dự kiến liên quan các yêu cầu tự động trong nhật ký máy chủ ban đầu ngay sau khi di chuyển sẽ khiến quản trị viên lo lắng, nếu họ không nắm được lý do xảy ra tình trạng này. Bạn nên xem xét biểu đồ về lượng yêu cầu tăng đột biến khi bộ nhớ đệm đang làm nóng và cố gắng giải quyết vấn đề này bằng cách đăng nhập vào trang tổng quan CDN rồi bật tính năng bảo vệ chống bot diện rộng. Như Cherry từng nói, "BOT KHÔNG ĐƯỢC PHÉP ĐI QUA"!

Một thử thách CAPTCHA mô phỏng yêu cầu chọn tất cả ô vuông có đèn giao thông trong một lưới ảnh gồm đèn giao thông và gà cao su

Vấn đề đối với các quy tắc bảo mật diện rộng nằm ngay trong tên gọi: nếu không có trường hợp miễn trừ, các quy tắc này sẽ xem tất cả lưu lượng truy cập tự động là như nhau, kể cả lưu lượng truy cập từ những trình thu thập dữ liệu mà bạn quan tâm. Trường hợp CDN hoặc Tường lửa ứng dụng web (WAF) gắn cờ các yêu cầu tự động và chặn các yêu cầu đó bằng một thử thách như CAPTCHA, trình thu thập dữ liệu của Google sẽ không vượt qua được thử thách. (Googlebot rất đa tài; nhưng phát hiện đèn giao thông và gà không phải là một trong số đó. Thực tế thì đôi khi ngay cả Gary cũng không giải quyết được.)

Nếu bạn bật tính năng bảo vệ chống bot diện rộng mà không đặt trường hợp miễn trừ cho các trình thu thập dữ liệu đã xác minh, thì về cơ bản, trình thu thập dữ liệu sẽ bị kẹt trên một trang lỗi không hữu ích cho Tìm kiếm hoặc các sản phẩm khác có dựa vào dữ liệu được thu thập. Theo quan điểm của chúng tôi, có vẻ như trang web của bạn bị hạn chế hoặc bị hỏng một cách có chủ ý. Nếu không có gì thay đổi, trình thu thập dữ liệu của chúng tôi sẽ ngừng hoạt động và các trang, trang thông tin mua sắm cũng như các bức ảnh gà của bạn sẽ bắt đầu bị loại khỏi Tìm kiếm.

Cách huấn luyện CDN (mà không làm ảnh hưởng đến máy chủ ban đầu)

Bạn không cần tuyển nhân viên cứu hoả để triển khai CDN; bạn cần đặt ra kỳ vọng phù hợp và kế hoạch hành động, chẳng hạn như:

  1. Nếu bạn cần chặn bot, thì trong chế độ cài đặt CDN và tường lửa, hãy cho phép các bot đã xác minh. Hầu hết các CDN và WAF lớn đều cung cấp một nút bật/tắt tích hợp hoặc một quy tắc được quản lý nhằm cho phép các bot đã biết/đã xác minh, giúp trình thu thập dữ liệu ưu tiên của bạn bỏ qua các thử thách CAPTCHA trong khi vẫn lọc lưu lượng truy cập không mong muốn (bạn có thể xác định các trình thu thập dữ liệu của chúng tôi thông qua dải IP đã xuất bản của Google). Hoặc tốt hơn hết, hãy định cấu hình tệp robots.txt hoặc sử dụng các quy tắc để nhắm đến những bot không mong muốn cụ thể thay vì chặn tất cả ứng dụng khách tự động.
  2. Làm nóng bộ nhớ đệm trước khi mở lưu lượng truy cập. Trước khi định tuyến tất cả lưu lượng truy cập thông qua CDN mới, hãy tìm nạp theo lập trình các trang có lưu lượng truy cập cao nhất, các trang sắp có lưu lượng truy cập cao nhất (chẳng hạn như các trang ra mắt theo mùa hoặc quảng bá) và các URL được thu thập dữ liệu thường xuyên nhất thông qua CDN với tốc độ được kiểm soát để bộ nhớ đệm máy chủ biên sẵn sàng phân phát lưu lượng truy cập. Hoặc nếu bạn thực sự có nhiều bạn bè (không như Gary), hãy yêu cầu họ truy cập vào hai URL riêng biệt; cách này cũng hiệu quả.
  3. Sử dụng 429 hoặc 503 nếu bạn cần tạm dừng. Nếu lượng thu thập dữ liệu vẫn đang tạo tải trọng quan trọng cho máy chủ ban đầu của bạn trong khi bộ nhớ đệm làm nóng, hãy định cấu hình máy chủ hoặc quy tắc giới hạn tốc độ CDN để trả về mã trạng thái HTTP 429 (Too Many Requests) hoặc 503 (Service Unavailable) trong một khoảng thời gian ngắn (vài giờ hoặc tối đa 1–2 ngày) như được nêu trong hướng dẫn của chúng tôi về cách làm giảm nhanh tốc độ thu thập dữ liệu của Google.

Tóm tắt (Ai lại để phần tóm tắt ở cuối?!)_**

Trước khi bạn quấn cáp Ethernet quanh tủ máy chủ và kết thúc công việc, hãy nhớ 3 điều sau đây khi chuyển sang CDN:

  • Phản hồi nhanh hơn đồng nghĩa với việc thu thập dữ liệu nhanh hơn: Độ trễ biên CDN thấp báo hiệu cho trình thu thập dữ liệu của Google rằng trang web của bạn hoạt động tốt và xử lý được tốc độ thu thập dữ liệu cao hơn.
  • Bộ nhớ đệm chỉ bảo vệ bạn trong lần truy cập thứ hai: Trên bộ nhớ đệm lạnh, yêu cầu đầu tiên đối với mỗi URL riêng biệt là một trường hợp thiếu bộ nhớ đệm và chuyển thẳng đến máy chủ ban đầu của bạn. Hãy làm nóng sẵn bộ nhớ đệm nếu có thể.
  • Nếu cần, hãy miễn các thử thách bot cho các trình thu thập dữ liệu đã xác minh: Đừng để các quy tắc WAF hoặc CAPTCHA diện rộng chặn trình thu thập dữ liệu của Google bằng các trang thử thách hoặc tường 403; hãy dùng các trường hợp miễn trừ cho bot đã xác minh và dựa vào các phản hồi 429 hoặc 503 tạm thời nếu máy chủ ban đầu của bạn thực sự cần nghỉ ngơi.

Bạn có thấy thú vị không? Hãy xem tập này!

Hãy xem Tập cuối của Mùa 1 (Tập 5) của loạt video The Non-Canonical Cabinet! Chúng tôi giải thích cấu trúc mạng thông qua hình ảnh chiếc mũ bảo hộ bằng nhựa, một chiếc tủ hồ sơ bốc khói nghi ngút và một con gà cao su đóng vai trò là máy chủ biên. Chúng tôi khá chắc chắn rằng không có thứ nào trong số này nằm trong mô tả công việc ban đầu của chúng tôi.

Bạn có muốn xem trọn bộ Mùa 1 không? Chúng tôi đã tìm cách phá hỏng URL và robots.txt. Chúng tôi đã nói về lỗi 404 và lệnh chuyển hướng. Xem trọn 5 tập. Chúng tôi dám đảm bảo sẽ có đủ thể loại gà.

Bạn có trường hợp hiếm gặp nào muốn chúng tôi giải quyết trong mùa tiếp theo (tuỳ thuộc vào ngân sách) không? Hãy để lại bình luận trong video.

Hãy giữ ấm bộ nhớ đệm, dọn dẹp tường lửa và bọc gà cao su bằng màng xốp hơi!