Sử dụng lệnh "noindex" để chặn hoạt động lập chỉ mục của Tìm kiếm

Bạn có thể ngăn một trang xuất hiện trên Google Tìm kiếm bằng cách thêm thẻ meta noindex vào mã HTML của trang đó, hoặc bằng cách trả về một tiêu đề noindex trong phản hồi HTTP. Trong lần thu thập dữ liệu tiếp theo trên trang đó, nếu thấy thẻ hoặc tiêu đề nêu trên, Googlebot sẽ loại bỏ hẳn trang đó khỏi kết quả của Google Tìm kiếm, bất kể các trang web khác có liên kết đến trang đó hay không.

noindex sẽ hữu dụng khi bạn không có quyền truy cập gốc vào máy chủ của mình, vì thẻ này cho phép bạn kiểm soát quyền truy cập vào trang web trên cơ sở từng trang.

Triển khai noindex

Có hai cách để triển khai noindex: dưới dạng thẻ meta và dưới dạng tiêu đề phản hồi HTTP. Hai cách này có hiệu quả như nhau, nên bạn có thể chọn cách thuận tiện hơn cho trang web của mình.

Thẻ <meta>

Để chặn phần lớn các trình thu thập dữ liệu web của công cụ tìm kiếm khỏi lập chỉ mục một trang trên trang web của bạn, hãy đặt thẻ meta sau vào phần <head> trên trang:

<meta name="robots" content="noindex">

Cách chặn riêng trình thu thập dữ liệu web của Google khỏi lập chỉ mục một trang:

<meta name="googlebot" content="noindex">

Xin lưu ý rằng một số trình thu thập dữ liệu web của công cụ tìm kiếm có thể diễn giải lệnh noindex theo cách khác. Vì thế, có thể trang của bạn vẫn xuất hiện trong kết quả tìm kiếm của các công cụ tìm kiếm khác.

Đọc thêm về thẻ meta noindex.

Tiêu đề phản hồi HTTP

Thay vì dùng thẻ meta, bạn cũng có thể trả về một tiêu đề X-Robots-Tag với giá trị noindex hoặc none trong phản hồi. Sau đây là một ví dụ về phản hồi HTTP chứa X-Robots-Tag hướng dẫn các trình thu thập dữ liệu không lập chỉ mục một trang:

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

Đọc thêm về tiêu đề phản hồi noindex.

Giúp chúng tôi phát hiện thẻ meta của bạn

Chúng tôi phải thu thập dữ liệu trên trang của bạn thì mới thấy được thẻ meta và tiêu đề HTTP. Nếu một trang vẫn xuất hiện trong kết quả tìm kiếm, thì có thể là do chúng tôi chưa thu thập dữ liệu trên trang đó kể từ khi bạn thêm thẻ. Bạn có thể dùng Công cụ kiểm tra URL để yêu cầu Google thu thập lại dữ liệu trên trang của mình. Một lý do khác có thể là tệp robots.txt đang chặn khiến trình thu thập dữ liệu web của Google không truy cập được URL, vì thế không thấy được thẻ đó. Để bỏ chặn trang khỏi Google, bạn phải chỉnh sửa tệp robots.txt. Bạn có thể chỉnh sửa và kiểm tra tệp robots.txt bằng công cụ Trình kiểm tra robots.txt.