Spesifikasi tag meta robots, data-nosnippet, dan X-Robots-Tag

Dokumen ini menjelaskan penggunaan setelan tingkat halaman dan tingkat teks untuk menyesuaikan cara Google menampilkan konten Anda di hasil penelusuran. Anda dapat menentukan setelan tingkat halaman dengan menyertakan tag meta di halaman HTML atau di header HTTP. Anda dapat menentukan setelan tingkat teks dengan atribut data-nosnippet pada elemen HTML dalam sebuah halaman.

Menggunakan tag meta robots

Tag meta robots memungkinkan Anda memanfaatkan pendekatan khusus halaman yang terperinci untuk mengontrol bagaimana setiap halaman diindeks dan ditayangkan kepada pengguna di hasil Google Penelusuran. Tempatkan tag meta robots di bagian <head> pada halaman tertentu, seperti ini:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />
(…)
</head>
<body>(…)</body>
</html>

Tag meta robots pada contoh di atas menginstruksikan mesin telusur untuk tidak menampilkan halaman di hasil penelusuran. Nilai atribut name ( robots) menentukan bahwa perintah tersebut berlaku untuk semua crawler. Untuk menangani crawler tertentu, ganti nilai robots pada atribut name dengan nama crawler yang Anda tangani. Crawler tertentu juga dikenal sebagai agen pengguna (crawler menggunakan agen penggunanya untuk meminta halaman). Web crawler standar Google memiliki nama agen pengguna Googlebot. Agar hanya Googlebot yang tidak mengindeks halaman Anda, perbarui tag sebagai berikut:

<meta name="googlebot" content="noindex" />

Sekarang tag ini secara khusus menginstruksikan Google untuk tidak menampilkan halaman ini di hasil penelusurannya. Baik atribut name maupun content tidak peka huruf besar/kecil.

Mesin telusur dapat memiliki crawler yang berbeda untuk berbagai tujuan. Lihat daftar lengkap crawler Google. Misalnya, untuk secara khusus menampilkan suatu halaman di hasil penelusuran web Google tanpa menampilkannya di Google Berita, gunakan tag meta berikut:

<meta name="googlebot-news" content="noindex" />

Untuk menentukan beberapa crawler secara terpisah, gunakan beberapa tag meta robots:

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

Menggunakan header HTTP X-Robots-Tag

X-Robots-Tag dapat digunakan sebagai elemen respons header HTTP untuk URL tertentu. Setiap perintah yang dapat digunakan dalam tag meta robots juga dapat ditetapkan sebagai X-Robots-Tag. Berikut adalah contoh respons HTTP dengan X-Robots-Tag yang menginstruksikan crawler untuk tidak mengindeks sebuah halaman:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

Beberapa header X-Robots-Tag dapat digabungkan dalam respons HTTP, atau Anda dapat menentukan daftar perintah yang dipisahkan koma. Berikut adalah contoh respons header HTTP yang menggabungkan noarchive X-Robots-Tag dengan unavailable_after X-Robots-Tag.

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

Secara opsional, X-Robots-Tag dapat menentukan agen pengguna sebelum perintah. Misalnya, rangkaian header HTTP X-Robots-Tag berikut dapat digunakan untuk mengizinkan penayangan suatu halaman secara kondisional di hasil penelusuran untuk berbagai mesin telusur:

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

Perintah yang ditentukan tanpa agen pengguna akan berlaku untuk semua crawler. Header HTTP, nama agen pengguna, dan nilai yang ditentukan tidak peka huruf besar/kecil.

Perintah pengindeksan & penayangan yang valid

Perintah berikut dapat digunakan untuk mengontrol pengindeksan dan penayangan cuplikan dengan tag meta robots dan X-Robots-Tag. Dalam hasil penelusuran, cuplikan adalah rangkuman singkat dari teks yang digunakan untuk menunjukkan relevansi dokumen dengan kueri pengguna. Tabel berikut menampilkan semua perintah yang diakui oleh Google beserta artinya. Setiap nilai mewakili perintah tertentu. Beberapa perintah dapat digabungkan dalam daftar yang dipisahkan koma. Perintah ini tidak peka huruf besar/kecil.

Perintah

all

Tidak ada batasan untuk pengindeksan atau penayangan. Perintah ini adalah nilai default dan tidak berpengaruh jika dicantumkan secara eksplisit.

noindex

Jangan tampilkan halaman ini di hasil penelusuran. Jika Anda tidak menentukan perintah ini, halaman tersebut dapat diindeks dan ditampilkan dalam hasil penelusuran.

nofollow

Jangan ikuti link di halaman ini. Jika Anda tidak menentukan perintah ini, Google dapat menggunakan link pada halaman untuk menemukan halaman tertaut tersebut. Pelajari lebih lanjut nofollow.

none

Setara dengan noindex, nofollow.

noarchive

Jangan tampilkan link cache dalam hasil penelusuran. Jika Anda tidak menentukan perintah ini, Google dapat membuat halaman yang di-cache dan pengguna dapat mengaksesnya melalui hasil penelusuran.

nosnippet

Jangan tampilkan cuplikan teks atau pratinjau video di hasil penelusuran untuk halaman ini. Thumbnail gambar statis (jika ada) mungkin tetap terlihat jika dapat memberikan pengalaman pengguna yang lebih baik. Ini berlaku untuk semua bentuk hasil penelusuran (di Google Penelusuran Web, Google Gambar, Discover).

Jika Anda tidak menentukan perintah ini, Google dapat membuat cuplikan teks dan pratinjau video berdasarkan informasi yang ditemukan di halaman tersebut.

max-snippet: [jumlah]

Gunakan [jumlah] karakter maksimum sebagai cuplikan tekstual untuk hasil penelusuran ini. (Perlu diketahui bahwa satu URL dapat ditampilkan sebagai beberapa hasil penelusuran di halaman hasil penelusuran.) Hal ini tidak memengaruhi pratinjau gambar atau video. Ini berlaku untuk semua bentuk hasil penelusuran (seperti Google Penelusuran Web, Google Gambar, Discover, Asisten). Namun, batas ini tidak berlaku jika penayang telah memberikan izin penggunaan konten secara terpisah. Misalnya, jika penayang menyediakan konten dengan bentuk data terstruktur dalam halaman atau memiliki perjanjian lisensi dengan Google, setelan ini tidak akan mengganggu penggunaan lebih spesifik yang diizinkan tersebut. Perintah ini akan diabaikan jika [jumlah] yang dapat diurai tidak ditentukan.

Jika Anda tidak menentukan perintah ini, Google yang akan memilih panjang cuplikan.

Nilai khusus:

  • 0: Cuplikan tidak akan ditampilkan. Setara dengan nosnippet.
  • -1: Google akan memilih panjang cuplikan yang dianggap paling efektif untuk membantu pengguna menemukan konten Anda dan mengarahkan pengguna ke situs Anda.

Contoh:

Untuk menghentikan cuplikan ditampilkan di hasil penelusuran:


<meta name="robots" content="max-snippet:0">

Untuk mengizinkan hingga 20 karakter ditampilkan dalam cuplikan:


<meta name="robots" content="max-snippet:20">

Untuk menentukan bahwa tidak ada batasan jumlah karakter yang dapat ditampilkan dalam cuplikan:


<meta name="robots" content="max-snippet:-1">

max-image-preview: [setelan]

Tetapkan ukuran maksimum pratinjau gambar untuk halaman ini di hasil penelusuran.

Jika Anda tidak menentukan perintah max-image-preview, Google dapat menampilkan pratinjau gambar dengan ukuran default.

Nilai [setelan] yang diterima:

  • none: Pratinjau gambar tidak akan ditampilkan.
  • standard: Pratinjau gambar default mungkin ditampilkan.
  • large: Pratinjau gambar yang lebih besar, hingga selebar area pandang, mungkin ditampilkan.

Ini berlaku untuk semua bentuk hasil penelusuran (seperti Google Penelusuran Web, Google Gambar, Discover, Asisten). Namun, batas ini tidak berlaku jika penayang telah memberikan izin penggunaan konten secara terpisah. Misalnya, jika penayang menyediakan konten dengan bentuk data terstruktur dalam halaman (seperti AMP dan versi kanonis artikel) atau memiliki perjanjian lisensi dengan Google, setelan ini tidak akan mengganggu penggunaan lebih spesifik yang diizinkan tersebut.

Jika penayang tidak ingin Google menggunakan gambar thumbnail yang lebih besar saat halaman AMP dan versi kanonis artikelnya ditampilkan di Penelusuran atau Discover, penayang harus menggunakan nilai max-image-preview standard atau none.

Contoh:


<meta name="robots" content="max-image-preview:standard">

max-video-preview: [jumlah]

Gunakan [jumlah] detik maksimum sebagai cuplikan video untuk video pada halaman ini di hasil penelusuran.

Jika Anda tidak menentukan perintah max-video-preview, Google dapat menampilkan cuplikan video dalam hasil penelusuran, dan Anda menyerahkannya ke Google untuk menentukan durasi pratinjaunya.

Nilai khusus:

  • 0: Secara maksimal, gambar statis dapat digunakan, sesuai dengan setelan max-image-preview.
  • -1: Tidak ada batas.

Ini berlaku untuk semua bentuk hasil penelusuran (di Google Penelusuran Web, Google Gambar, Google Video, Discover, Asisten). Perintah ini akan diabaikan jika [jumlah] yang dapat diurai tidak ditentukan.

Contoh:


<meta name="robots" content="max-video-preview:-1">

notranslate

Jangan menawarkan terjemahan halaman ini dalam hasil penelusuran. Jika Anda tidak menentukan perintah ini, Google dapat menampilkan link di samping hasil untuk membantu pengguna melihat konten yang diterjemahkan di halaman Anda.

noimageindex

Jangan mengindeks gambar di halaman ini. Jika Anda tidak menentukan nilai ini, gambar pada halaman dapat diindeks dan ditampilkan di hasil penelusuran.

unavailable_after: [tanggal/waktu]

Tidak menampilkan halaman ini di hasil penelusuran setelah tanggal/waktu yang ditentukan. Tanggal/waktu harus ditentukan dalam format yang digunakan secara luas termasuk, tetapi tidak terbatas pada RFC 822, RFC 850, dan ISO 8601. Perintah akan diabaikan jika tidak ada tanggal/waktu valid yang ditentukan. Secara default, tidak ada tanggal habis masa berlaku untuk konten.

Jika Anda tidak menentukan perintah ini, halaman ini dapat ditampilkan dalam hasil penelusuran tanpa batas waktu.

Contoh:


<meta name="robots" content="unavailable_after: 2020-09-21">

Menangani gabungan perintah pengindeksan dan penayangan

Anda dapat membuat instruksi multiperintah dengan menggabungkan perintah tag meta robots dan koma. Berikut adalah contoh dari tag meta robots yang menginstruksikan web crawler untuk tidak mengindeks halaman dan tidak meng-crawl link apa pun di halaman tersebut:

<meta name="robots" content="noindex, nofollow">

Berikut adalah contoh yang membatasi cuplikan teks menjadi maksimal 20 karakter, dan mengizinkan pratinjau gambar yang lebih besar:

<meta name="robots" content="max-snippet:20, max-image-preview:large">

Jika beberapa crawler ditentukan bersama dengan perintah yang berbeda, mesin telusur akan menggunakan gabungan perintah negatif. Contoh:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

Halaman yang berisi tag meta ini akan dianggap seolah-olah memiliki perintah noindex, nofollow saat di-crawl oleh Googlebot.

Menggunakan atribut HTML data-nosnippet

Anda dapat menentukan bagian tekstual dari halaman HTML agar tidak digunakan sebagai cuplikan. Hal ini dapat dilakukan di tingkat elemen HTML dengan atribut HTML data-nosnippet pada elemen span, div, dan section. data-nosnippet dianggap sebagai atribut boolean. Sedangkan untuk semua atribut boolean, nilai apa pun yang ditentukan akan diabaikan. Untuk memastikan keterbacaan oleh komputer, bagian HTML ini harus berupa HTML yang valid dan semua tag yang sesuai harus tertutup.

Contoh:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

Google biasanya merender halaman agar dapat mengindeksnya, tetapi proses rendering ini tidak dijamin. Oleh karena itu, ekstraksi data-nosnippet dapat terjadi sebelum dan sesudah rendering. Untuk menghindari ketidakpastian rendering, jangan tambahkan atau hapus atribut data-nosnippet dari node yang sudah ada melalui JavaScript. Saat menambahkan elemen DOM melalui JavaScript, sertakan atribut data-nosnippet seperlunya saat pertama kali menambahkan elemen tersebut ke DOM halaman. Jika elemen kustom digunakan, gabungkan atau render elemen tersebut bersama elemen div, span, atau section jika Anda harus menggunakan data-nosnippet.

Menggunakan data terstruktur

Tag meta robots mengatur banyaknya konten yang otomatis diekstrak oleh Google dari halaman web untuk ditampilkan sebagai hasil penelusuran. Namun, banyak penayang juga menggunakan data terstruktur schema.org untuk menyediakan informasi tertentu melalui presentasi penelusuran. Batasan tag meta robots tidak memengaruhi penggunaan data terstruktur tersebut, dengan pengecualian article.description dan nilai description bagi data terstruktur yang ditentukan untuk konten materi iklan lainnya. Untuk menentukan jumlah karakter maksimum pratinjau berdasarkan nilai description ini, gunakan tag meta robots max-snippet. Misalnya, data terstruktur recipe di suatu halaman memenuhi syarat untuk disertakan dalam carousel resep, meskipun pratinjau teks akan dibatasi. Anda dapat membatasi jumlah karakter pratinjau teks dengan max-snippet, tetapi tag meta robots tersebut tidak berlaku jika informasi disediakan menggunakan data terstruktur untuk hasil kaya.

Untuk mengelola penggunaan data terstruktur di halaman web Anda, ubah jenis dan nilai data terstruktur tersebut, dengan menambahkan atau menghapus informasi untuk secara khusus menyediakan data yang Anda inginkan. Perlu diketahui juga bahwa data terstruktur tetap dapat digunakan untuk hasil penelusuran jika dideklarasikan dalam elemen data-nosnippet.

Implementasi praktis dari X-Robots-Tag

Anda dapat menambahkan X-Robots-Tag ke respons HTTP situs melalui file konfigurasi dari software server web situs Anda. Misalnya, pada server web berbasis Apache, Anda dapat menggunakan file .htaccess dan httpd.conf. Manfaat penggunaan X-Robots-Tag dengan respons HTTP adalah Anda dapat menentukan perintah crawling yang diterapkan secara global di seluruh situs. Dukungan ekspresi reguler memungkinkan adanya tingkat fleksibilitas yang tinggi.

Misalnya, untuk menambahkan noindex, nofollow X-Robots-Tag ke respons HTTP untuk semua file .PDF di seluruh situs, tambahkan cuplikan berikut ke file .htaccess atau httpd.conf root situs di Apache, atau ke file .conf situs di NGINX.

Apache:

<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

NGINX:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Anda dapat menggunakan X-Robots-Tag untuk file non-HTML seperti file gambar yang tidak memungkinkan penggunaan tag meta robots pada HTML. Berikut adalah contoh penambahan perintah noindex X-Robots-Tag untuk file gambar (.png, .jpeg, .jpg, .gif) di seluruh situs:

Apache:

<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>

NGINX:

location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

Menggabungkan crawling dengan perintah pengindeksan/penayangan

Tag meta robots dan header HTTP X-Robots-Tag akan ditemukan saat URL di-crawl. Jika halaman tidak boleh di-crawl melalui file robots.txt, semua informasi tentang perintah pengindeksan atau penayangan tidak akan ditemukan dan akan diabaikan. Jika perintah pengindeksan atau penayangan harus diikuti, URL yang berisi perintah tersebut harus diizinkan untuk di-crawl.