Chặn hoạt động lập chỉ mục của Tìm kiếm bằng lệnh "noindex"

Bạn có thể ngăn một trang xuất hiện trên Google Tìm kiếm bằng cách dùng thẻ meta noindex trong mã HTML của trang đó, hoặc bằng cách trả về một tiêu đề noindex trong yêu cầu HTTP. Trong lần thu thập dữ liệu tiếp theo đối với trang đó, nếu thấy thẻ hoặc tiêu đề nêu trên, Googlebot sẽ xóa toàn bộ dữ liệu của trang khỏi kết quả của Google Tìm kiếm, bất kể các trang web khác có liên kết đến trang đó hay không.

Việc dùng noindex sẽ hữu ích khi bạn không có quyền truy cập gốc vào máy chủ của mình, lý do là thẻ này cho phép bạn kiểm soát quyền truy cập vào trang web trên cơ sở từng trang.

Triển khai noindex

Có hai cách để triển khai noindex: dưới dạng một thẻ meta và dưới dạng một tiêu đề phản hồi HTTP. Hai cách này có hiệu quả như nhau; bạn có thể chọn cách thuận tiện hơn cho trang web của mình.

Thẻ <meta>

Để chặn phần lớn các trình thu thập dữ liệu web của công cụ tìm kiếm khỏi lập chỉ mục một trang trên trang web của bạn, hãy đặt thẻ meta sau vào phần <head> trên trang của bạn:

<meta name="robots" content="noindex">

Cách chặn riêng trình thu thập dữ liệu web của Google khỏi lập chỉ mục một trang:

<meta name="googlebot" content="noindex">

Bạn nên lưu ý rằng một số trình thu thập dữ liệu web của công cụ tìm kiếm có thể diễn giải lệnh noindex theo cách khác. Vì thế, có thể trang của bạn vẫn xuất hiện trong kết quả tìm kiếm của các công cụ tìm kiếm khác.

Đọc thêm về thẻ meta noindex.

Tiêu đề phản hồi HTTP

Thay vì dùng thẻ meta, bạn cũng có thể trả về một tiêu đề X-Robots-Tag với giá trị noindex hoặc none trong phản hồi của bạn. Sau đây là ví dụ về một phản hồi HTTP chứa X-Robots-Tag hướng dẫn các trình thu thập dữ liệu không lập chỉ mục một trang:

HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)

Đọc thêm về tiêu đề phản hồi noindex.

Giúp chúng tôi phát hiện thẻ meta của bạn

Chúng tôi phải thu thập dữ liệu trên trang của bạn thì mới thấy được thẻ meta và tiêu đề HTTP. Nếu một trang vẫn xuất hiện trong kết quả tìm kiếm, thì có thể là do chúng tôi chưa thu thập dữ liệu trên trang đó kể từ khi bạn thêm thẻ. Bạn có thể yêu cầu Google thu thập lại dữ liệu trên trang của mình bằng cách dùng Công cụ kiểm tra URL. Một lý do khác có thể là tệp robots.txt đang chặn URL khỏi trình thu thập dữ liệu web của Google, vì thế trình thu thập dữ liệu web của chúng tôi không thể nhìn thấy thẻ đó. Để bỏ chặn trang khỏi Google, bạn phải chỉnh sửa tệp robots.txt của mình. Bạn có thể chỉnh sửa và kiểm tra tệp robots.txt của mình bằng công cụ Trình kiểm tra robots.txt.