Giảm tốc độ thu thập dữ liệu của Googlebot

Google dùng các thuật toán phức tạp để xác định tốc độ thu thập dữ liệu tối ưu cho một trang web. Mục tiêu của chúng tôi là thu thập dữ liệu nhiều trang nhất có thể trên trang web trong mỗi lần truy cập mà không làm quá tải băng thông máy chủ của bạn. Trong một số trường hợp, việc Google thu thập dữ liệu trang web của bạn có thể gây ra lưu lượng truy cập rất lớn vào sở hạ tầng của bạn hoặc gây ra chi phí không mong muốn trong thời gian trang ngừng hoạt động. Để khắc phục điều này, bạn có thể quyết định giảm số lượng yêu cầu do Googlebot đưa ra.

Nếu bạn quyết định giảm tốc độ thu thập dữ liệu của Googlebot thì bạn có một số lựa chọn sau:

Giảm tốc độ thu thập dữ liệu bằng cách cài đặt trên Search Console (nên làm)

Để nhanh chóng giảm tốc độ thu thập dữ liệu, bạn có thể thay đổi tốc độ thu thập dữ liệu của Googlebot bằng chế độ cài đặt trên Search Console. Những thay đổi trong chế độ cài đặt này thường có hiệu lực sau vài ngày. Để sử dụng chế độ cài đặt này, trước tiên bạn cần xác minh quyền sở hữu đối với trang web của mình. Hãy nhớ rằng bạn không nên đặt tốc độ thu thập dữ liệu thành một giá trị quá thấp so với nhu cầu của trang web. Bạn có thể tìm hiểu thêm về ý nghĩa của hạn mức thu thập dữ liệu đối với Googlebot.

Nếu Chế độ cài đặt tốc độ thu thập dữ liệu không áp dụng cho trang web của bạn, hãy gửi một yêu cầu đặc biệt để giảm tốc độ thu thập dữ liệu. Bạn không thể yêu cầu tăng tốc độ thu thập dữ liệu.

Để Google tự giảm tốc độ thu thập dữ liệu

Nếu bạn cần nhanh chóng giảm tốc độ thu thập dữ liệu trong một khoảng thời gian ngắn (ví dụ: một vài giờ hoặc 1-2 ngày), hãy trả về một trang thông tin lỗi có mã trạng thái phản hồi HTTP 500, 503 hoặc 429 thay vì trả về toàn bộ nội dung. Googlebot sẽ giảm tốc độ thu thập dữ liệu đối với trang web của bạn khi bắt gặp một số lượng đáng kể những URL có mã trạng thái phản hồi HTTP 500, 503 hoặc 429 (ví dụ: nếu bạn đã vô hiệu hoá trang web). Sự thay đổi này sẽ thể hiện ở cả tốc độ thu thập dữ liệu trên các URL trả về những lỗi này cũng như tốc độ thu thập dữ liệu trên toàn bộ trang web. Khi số lượng những lỗi này giảm xuống, tốc độ thu thập dữ liệu sẽ tự động tăng trở lại.