Cập nhật tệp robots.txt

Nếu sử dụng một dịch vụ lưu trữ trang web, chẳng hạn như Wix, Drupal hoặc Blogger, có thể bạn không cần (hoặc không thể) trực tiếp chỉnh sửa tệp robots.txt của mình. Thay vào đó, nhà cung cấp dịch vụ có thể sử dụng trang cài đặt tìm kiếm hoặc một cơ chế khác để giúp công cụ tìm kiếm biết được có nên thu thập dữ liệu trên trang của bạn không.

Nếu bạn muốn ẩn hoặc hiện một trong các trang của mình trên công cụ tìm kiếm, hãy tìm hướng dẫn về cách sửa đổi chế độ hiển thị của trang trong công cụ tìm kiếm trên dịch vụ lưu trữ của bạn (ví dụ: tìm "wix ẩn trang khỏi công cụ tìm kiếm").

Để cập nhật các quy tắc trong tệp robots.txt hiện có, hãy tải một bản sao của tệp robots.txt xuống từ trang web của bạn rồi chỉnh sửa những chỗ cần thiết.

Tải tệp robots.txt xuống

Bạn có thể tải tệp robots.txt xuống theo nhiều cách, chẳng hạn như:

• Chuyển đến tệp robots.txt (ví dụ: https://example.com/robots.txt) rồi sao chép nội dung của tệp này vào một tệp văn bản mới trên máy tính. Hãy đảm bảo rằng bạn tuân thủ các nguyên tắc liên quan đến định dạng tệp khi tạo tệp mới trên máy tính.
• Dùng một công cụ như cURL để tải một bản sao thực tế của tệp robots.txt xuống. Ví dụ:

  curl https://example.com/robots.txt -o robots.txt

• Dùng Trình kiểm tra tệp robots.txt trong Search Console để tải một bản sao của tệp robots.txt xuống.
  1. Nhấp vào Gửi ở góc dưới cùng bên phải của trình chỉnh sửa tệp robots.txt. Thao tác này sẽ mở ra hộp thoại Gửi.
  2. Tải mã trong tệp robots.txt xuống qua trang Trình kiểm tra tệp robots.txt bằng cách nhấp vào Tải xuống trong hộp thoại Gửi.

Chỉnh sửa tệp robots.txt

Mở tệp robots.txt mà bạn đã tải xuống từ trang web trong trình chỉnh sửa văn bản rồi chỉnh sửa những nội dung cần thiết trong các quy tắc. Hãy đảm bảo rằng bạn dùng cú pháp chính xác và lưu tệp bằng phương pháp mã hóa UTF-8.

Tải tệp robots.txt lên

Tải tệp robots.txt mới lên thư mục gốc của miền dưới dạng một tệp văn bản có tên robots.txt. Cách thức tải tệp lên trang web phần lớn phụ thuộc vào nền tảng và máy chủ. Hãy tham khảo các mẹo của chúng tôi để xem thông tin trợ giúp về cách tải tệp robots.txt lên trang web.

Nếu bạn không có quyền tải tệp lên thư mục gốc của miền, hãy liên hệ với người quản lý miền để thực hiện thay đổi.

Ví dụ: nếu trang chủ của trang web nằm trong subdomain.example.com/site/example/, thì có thể bạn sẽ không cập nhật được tệp robots.txt tại subdomain.example.com/robots.txt. Trong trường hợp này, hãy liên hệ với chủ sở hữu của example.com/ để thực hiện mọi thay đổi cần thiết đối với tệp robots.txt.

Làm mới tệp robots.txt trong bộ nhớ đệm của Google

Trong quá trình thu thập dữ liệu tự động, trình thu thập dữ liệu của Google phát hiện các thay đổi bạn đã thực hiện đối với tệp robots.txt và cập nhật phiên bản đã lưu vào bộ nhớ đệm sau mỗi 24 giờ. Nếu bạn cần cập nhật bộ nhớ đệm nhanh hơn, hãy dùng chức năng Gửi của Trình kiểm tra tệp robots.txt.

1. Nhấp vào Xem phiên bản đã tải lên để đảm bảo rằng tệp robots.txt đang hoạt động là phiên bản mà bạn muốn Google thu thập dữ liệu.
2. Nhấp vào Gửi để thông báo cho Google rằng tệp robots.txt của bạn đã thay đổi và yêu cầu Google thu thập dữ liệu trong tệp đó.
3. Kiểm tra xem Google đã thu thập được dữ liệu trên phiên bản mới nhất hay chưa bằng cách làm mới trang trong trình duyệt để cập nhật trình chỉnh sửa của công cụ và xem mã của tệp robots.txt đang hoạt động. Sau khi làm mới trang, bạn cũng có thể nhấp vào trình đơn thả xuống để xem dấu thời gian của thời điểm đầu tiên Google nhìn thấy phiên bản mới nhất của tệp robots.txt của bạn.