Mengonsolidasikan URL duplikat

Jika Anda memiliki satu halaman yang dapat diakses dengan beberapa URL, atau beberapa halaman dengan konten yang serupa (misalnya, halaman dengan versi seluler dan desktop), Google melihatnya sebagai versi duplikat dari halaman yang sama. Google akan memilih satu URL sebagai versi kanonis dan meng-crawl-nya, serta menganggap semua URL lainnya sebagai URL duplikat dan jarang meng-crawl-nya.

Jika Anda tidak secara eksplisit menyebutkan URL mana yang kanonis, Google yang akan menentukan pilihan, atau mungkin keduanya dianggap valid, yang berisiko menimbulkan perilaku yang tidak diinginkan, seperti yang dijelaskan di bawah dalam Mengapa saya harus memilih URL kanonis?

Apa itu URL kanonis?

URL kanonis adalah URL halaman yang dianggap Google sebagai URL paling representatif dari sekumpulan halaman duplikat di situs Anda. Misalnya, jika Anda memiliki URL untuk halaman yang sama (misalnya: example.com?dress=1234 dan example.com/dresses/1234), Google akan memilih satu URL sebagai kanonis. Perhatikan bahwa halaman tidak harus benar-benar identik; perubahan kecil dalam pengurutan atau pemfilteran halaman daftar tidak membuat halaman menjadi unik (misalnya, mengurutkan berdasarkan harga atau memfilter berdasarkan warna item).

Kanonis dapat berada di domain yang berbeda dengan duplikat.

Detail selengkapnya

Saat mengindeks sebuah situs, Googlebot mencoba menentukan konten utama dalam setiap halaman. Jika Googlebot menemukan beberapa halaman yang serupa pada situs yang sama, Googlebot akan memilih halaman yang dianggap paling lengkap dan berguna, kemudian menandainya sebagai kanonis. Yang paling sering di-crawl adalah halaman kanonis, sedangkan duplikat tidak terlalu sering di-crawl untuk mengurangi beban crawling Google pada situs Anda.

Google memilih halaman kanonis berdasarkan sejumlah faktor (atau sinyal), seperti penayangan halaman melalui http atau https; kualitas halaman; keberadaan URL dalam peta situs; dan pemberian label rel=canonical apa pun. Anda dapat menunjukkan preferensi Anda ke Google menggunakan teknik ini, tetapi Google dapat memilih halaman kanonis yang berbeda dengan pilihan Anda, karena berbagai alasan.

Versi bahasa yang berbeda pada satu halaman akan dianggap duplikat hanya jika konten utama menggunakan bahasa yang sama (yaitu, jika hanya header, footer, dan teks non-kritis lainnya yang diterjemahkan, namun isi tetap sama, halaman akan dianggap duplikat).

Google menggunakan halaman kanonis sebagai sumber utama untuk mengevaluasi konten dan kualitas. Hasil Google Penelusuran biasanya mengarah ke halaman kanonis, kecuali jika salah satu duplikat secara eksplisit lebih cocok untuk pengguna: misalnya, hasil penelusuran mungkin mengarah ke halaman seluler jika pengguna menggunakan perangkat seluler, meskipun halaman desktop ditandai sebagai kanonis.

Mengapa saya memiliki halaman yang serupa/duplikat?

Ada alasan yang valid mengapa situs Anda mungkin memiliki URL yang berbeda namun mengarah ke halaman yang sama, atau memiliki halaman duplikat atau yang sangat mirip di URL yang berbeda. Berikut alasan yang paling umum:

• Untuk mendukung berbagai jenis perangkat:

  https://example.com/news/koala-rampage
  https://m.example.com/news/koala-rampage
  https://amp.example.com/news/koala-rampage

• Untuk mengaktifkan URL dinamis bagi beberapa hal seperti parameter penelusuran atau ID sesi:

  https://www.example.com/products?category=dresses&color=green
  https://example.com/dresses/cocktail?gclid=ABCD
  https://www.example.com/dresses/green/greendress.html

• Jika sistem blog Anda otomatis menyimpan beberapa URL saat Anda menempatkan entri blog yang sama pada beberapa sesi.

  https://blog.example.com/dresses/green-dresses-are-awesome/
  https://blog.example.com/green-things/green-dresses-are-awesome/

• Jika server dikonfigurasi untuk menayangkan konten yang sama untuk varian www/non-www http/https:

  http://example.com/green-dresses
  https://example.com/green-dresses
  http://www.example.com/green-dresses
  

• Jika konten yang Anda tayangkan di blog untuk distribusi offline ke situs lain direplikasi sebagian atau seluruhnya pada domain tersebut:
  https://news.example.com/green-dresses-for-every-day-155672.html (postingan yang dapat didistribusikan offline) https://blog.example.com/dresses/green-dresses-are-awesome/3245/ (postingan asli)

Mengapa saya harus memilih URL kanonis?

Ada sejumlah alasan mengapa Anda perlu memilih halaman kanonis secara eksplisit dalam kumpulan halaman duplikat/serupa:

• Menentukan URL mana yang ingin dilihat orang dalam hasil penelusuran. Anda mungkin lebih suka orang membuka halaman produk gaun hijau melalui https://www.example.com/dresses/green/greendress.html, bukan https://example.com/dresses/cocktail?gclid=ABCD.
• Mengonsolidasikan sinyal link untuk halaman yang serupa atau duplikat. Tindakan ini membantu mesin telusur agar dapat mengonsolidasikan informasi yang dimiliki untuk URL individual (misalnya link ke URL individual tersebut) pada sebuah URL pilihan. Artinya, link dari situs lain ke http://example.com/dresses/cocktail?gclid=ABCD dikonsolidasikan dengan link ke https://www.example.com/dresses/green/greendress.html.
• Menyederhanakan pelacakan metrik untuk satu produk/topik. Dengan berbagai variasi URL, akan lebih sulit untuk mendapatkan metrik hasil konsolidasi untuk bagian konten tertentu.
• Mengelola konten bersindikasi. Jika menyindikasikan konten untuk dipublikasikan di domain lain, Anda perlu mengonsolidasikan peringkat halaman ke URL pilihan.
• Menghindari crawling yang tidak diperlukan pada halaman duplikat. Jika ingin mendapatkan hasil maksimal dari situs Anda, sebaiknya minta Googlebot untuk melakukan crawling halaman baru (atau yang telah diperbarui) pada situs Anda, daripada melakukan crawling halaman yang sama pada versi desktop dan seluler.

Manakah URL kanonis saya, menurut Google?

Gunakan Alat Inspeksi URL untuk mempelajari halaman yang dianggap Google sebagai kanonis. Perhatikan bahwa meskipun Anda secara eksplisit menentukan halaman kanonis, Google mungkin memilih halaman lain sebagai kanonis karena berbagai alasan, seperti performa atau konten.

Pemecahan masalah

Jika URL kanonis berada di properti yang bukan milik Anda, traffic untuk halaman duplikat tidak dapat Anda lihat. Berikut ini beberapa alasan umum mengapa URL kanonis bisa berada di properti terpisah:

• Variasi bahasa yang salah ditandai: Jika Anda memiliki beberapa situs yang pada dasarnya menayangkan konten sama yang dilokalkan bagi pengguna lain di seluruh dunia, pastikan mengikuti pedoman kami untuk situs yang dilokalkan.
• Tag kanonis salah: Beberapa sistem pengelolaan konten (CMS) atau plugin CMS dapat menggunakan teknik kanonikalisasi dengan tidak benar untuk mengarahkan ke URL di situs eksternal. Periksa konten Anda untuk melihat apakah ini permasalahannya. Jika situs Anda menunjukkan preferensi URL kanonis yang tidak terduga, mungkin karena penggunaan rel="canonical" atau pengalihan 301 yang tidak benar, perbaiki masalah tersebut secepatnya.
• Server yang salah dikonfigurasi: Beberapa kesalahan konfigurasi hosting dapat menyebabkan pemilihan URL lintas domain yang tidak terduga. Contoh:
  • Server mungkin salah dikonfigurasi sehingga mengembalikan konten dari a.com sebagai respons atas permintaan untuk URL di b.com.
  • Dua server web yang tidak berkaitan dapat menampilkan halaman soft 404 sama, yang gagal diidentifikasi Google sebagai halaman error.
• Peretasan berbahaya: Beberapa serangan di situs menunjukkan kode yang menampilkan pengalihan 301 HTTP atau memasukkan elemen link rel="canonical" lintas domain dalam <head> HTML atau header HTTP, yang biasanya mengarah ke URL yang menghosting konten berbahaya atau berisi spam. Dalam hal ini, algoritme kami dapat memilih URL yang berbahaya atau berisi spam tersebut, bukan URL situs yang disusupi.
• Situs peniru: Dalam situasi yang jarang terjadi, algoritme kami dapat memilih URL dari situs eksternal yang menghosting konten Anda tanpa izin dari Anda. Jika Anda yakin bahwa situs lain menggandakan konten Anda dengan cara yang melanggar undang-undang hak cipta, hubungi host situs untuk meminta penghapusan. Selain itu, Anda dapat meminta Google menghapus halaman yang melakukan pelanggaran dari hasil penelusuran kami dengan mengajukan permintaan berdasarkan Digital Millennium Copyright Act.

Menentukan halaman kanonis

Ada beberapa cara untuk menentukan halaman kanonis di antara kumpulan duplikat, bergantung pada penggunaan Anda:

Metode dan deskripsi
Panduan umum	Ikuti panduan ini untuk semua metode kanonikalisasi.
Tag rel=canonical <link>	Tambahkan tag <link> dalam kode untuk semua halaman duplikat, yang mengarah ke halaman kanonis. Kelebihan: Dapat memetakan halaman duplikat dalam jumlah yang tidak terbatas. Kekurangan: Dapat menambah ukuran halaman. Pengelolaan pemetaan dapat menjadi kompleks pada situs yang besar atau situs dengan URL yang sering berubah. Hanya berfungsi untuk halaman HTML, bukan untuk file seperti PDF. Untuk itu, Anda dapat menggunakan header HTTP rel=canonical.
Header HTTP rel=canonical	Kirimkan header rel=canonical di respons halaman Anda. Kelebihan: Tidak meningkatkan ukuran halaman. Dapat memetakan halaman duplikat dalam jumlah yang tidak terbatas. Kekurangan: Pengelolaan pemetaan dapat menjadi kompleks pada situs yang besar atau situs dengan URL yang sering berubah.
Peta Situs	Tentukan halaman kanonis Anda di peta situs. Kelebihan: Mudah dilakukan dan dikelola, terutama di situs besar. Kekurangan: Googlebot masih harus menentukan duplikat terkait untuk setiap kanonis yang Anda nyatakan di peta situs. Sinyal yang kurang kuat untuk Googlebot dibandingkan teknik pemetaan rel=canonical.
Pengalihan 301	Gunakan pengalihan 301 untuk memberi tahu Googlebot bahwa URL yang dialihkan adalah versi yang lebih baik daripada URL yang diberikan. Gunakan pengalihan ini hanya jika halaman duplikat tidak digunakan lagi.
Variasi AMP	Jika salah satu variasi Anda adalah halaman AMP, Anda harus mengikuti panduan AMP untuk menunjukkan halaman kanonis dan variasi AMP.

Meskipun sebaiknya Anda menggunakan salah satu metode ini, tidak satu pun di antaranya yang bersifat wajib. Jika Anda tidak mengindikasikan URL kanonis, kami akan mengidentifikasi URL atau versi yang terbaik menurut kami.

Panduan umum

Untuk semua metode kanonikalisasi, ikuti panduan umum berikut.

Panduan umum

• Jangan gunakan file robots.txt untuk tujuan kanonikalisasi.
• Jangan menggunakan alat penghapusan URL untuk kanonikalisasi: ini akan menghapus semua versi URL dari penelusuran.
• Jangan menentukan URL lain sebagai kanonis untuk halaman yang sama menggunakan teknik kanonikalisasi yang sama atau berbeda (misalnya, jangan menentukan satu URL di peta situs, tetapi URL lain untuk halaman yang sama tersebut menggunakan rel="canonical").
• Jangan menggunakan noindex untuk mencegah pemilihan halaman kanonis. Petunjuk ini dimaksudkan untuk mengecualikan halaman dari indeks, bukan untuk mengelola pilihan halaman kanonis.

• Lakukan penentuan halaman kanonis saat menggunakan tag hreflang. Tentukan halaman kanonis dalam bahasa yang sama, atau bahasa pengganti terbaik jika kanonis tidak tersedia untuk bahasa yang sama.

• Lakukan penautan ke URL kanonis, bukan URL duplikat, saat menautkan di situs Anda. Menautkan secara konsisten ke URL yang Anda anggap kanonis akan membantu Google memahami preferensi Anda.

Memilih HTTPS, bukan HTTP, untuk URL kanonis

Google lebih memilih halaman HTTPS, bukan halaman HTTP yang setara, sebagai kanonis, kecuali jika ada masalah atau sinyal bentrok seperti berikut:

• Halaman HTTPS memiliki sertifikat SSL yang tidak valid.
• Halaman HTTPS memiliki dependensi yang tidak aman (selain gambar).
• Halaman HTTPS mengalihkan pengguna ke atau melalui halaman HTTP.
• Halaman HTTPS memiliki link rel="canonical" ke halaman HTTP.

Meskipun sistem kami secara default lebih memilih halaman HTTPS, bukan halaman HTTP, Anda dapat memastikan perilaku ini dengan melakukan salah satu tindakan berikut:

• Menambahkan pengalihan dari halaman HTTP ke halaman HTTPS.
• Menambahkan link rel="canonical" dari halaman HTTP ke halaman HTTPS.
• Menerapkan HSTS.

Untuk mencegah Google agar tidak salah membuat halaman HTTP menjadi kanonis, sebaiknya hindari praktik-praktik berikut:

• Sertifikat SSL dan pengalihan HTTPS ke HTTP yang buruk menyebabkan kami benar-benar lebih memilih HTTP. Menerapkan HSTS tidak dapat menimpa preferensi yang kuat ini.
• Memasukkan halaman HTTP ke dalam peta situs atau entri hreflang Anda, bukan versi HTTPS.
• Menerapkan sertifikat SSL/TLS Anda untuk varian host yang salah: misalnya, example.com menyediakan sertifikat untuk www.example.com. Sertifikat tersebut harus sesuai dengan URL situs lengkap Anda, atau menjadi sertifikat pengganti yang dapat digunakan untuk beberapa subdomain dalam suatu domain.

Khusus pengguna lanjutan: Beri tahu Google untuk mengabaikan parameter dinamis

Gunakan Penanganan Parameter untuk memberi tahu Googlebot tentang parameter apa pun yang perlu diabaikan saat crawling. Mengabaikan parameter tertentu dapat mengurangi konten duplikat di indeks Google dan membuat situs Anda lebih dapat di-crawl. Misalnya, jika Anda menentukan agar parameter sessionid harus diabaikan, Googlebot akan memperlakukan 2 URL berikut sebagai duplikat:

• https://www.example.com/dresses/green.php?sessionid=273749
• https://www.example.com/dresses/green.php

Metode spesifik

Pilih salah satu metode berikut untuk menentukan URL kanonis bagi URL duplikat atau halaman duplikat/serupa.

Pastikan Anda mengikuti panduan umum untuk semua metode.

Menggunakan tag link rel="canonical"

Anda dapat menggunakan tag <link> di header halaman untuk menunjukkan bahwa halaman adalah duplikat halaman lain.

Misalnya Anda ingin https://example.com/dresses/green-dresses menjadi URL kanonis, meskipun berbagai URL dapat mengakses konten ini. Tunjukkan URL ini sebagai kanonis melalui langkah-langkah berikut:

1. Tandai semua halaman duplikat dengan elemen link rel="canonical". Tambahkan elemen <link> dengan atribut rel="canonical" ke bagian <head> di halaman duplikat, yang mengarah ke halaman kanonis, seperti ini:
   <link rel="canonical" href="https://example.com/dresses/green-dresses" />

2. Jika halaman kanonis memiliki varian seluler, tambahkan link rel="alternate" ke halaman tersebut, yang mengarah ke versi seluler halaman:
   <link rel="alternate" media="only screen and (max-width: 640px)" href="http://m.example.com/dresses/green-dresses">

3. Tambahkan hreflang atau pengalihan lain yang sesuai untuk halaman tersebut.

Gunakan jalur mutlak, bukan jalur relatif dengan elemen link rel="canonical".
Gunakan struktur ini: https://www.example.com/dresses/green/greendresss.html
Bukan struktur ini: /dresses/green/greendress.html

Menggunakan header HTTP rel="canonical"

Jika dapat mengonfigurasi server, Anda dapat menggunakan header HTTP rel="canonical" (bukan tag HTML) guna menunjukkan URL kanonis untuk dokumen non-HTML seperti file PDF.

Misalnya, jika Anda mengekspos file PDF melalui beberapa URL, Anda dapat menggunakan header HTTP rel="canonical" seperti URL duplikat berikut untuk memberi tahu Googlebot tentang URL kanonis mana yang digunakan untuk file PDF:

Link: <http://www.example.com/downloads/white-paper.pdf>; rel="canonical"

Saat ini Google mendukung metode ini untuk hasil penelusuran web saja.

Gunakan jalur mutlak, bukan jalur relatif dengan elemen link rel="canonical". Yaitu:
Gunakan struktur ini: http://www.example.com/downloads/white-paper.pdf
Bukan struktur ini: /downloads/white-paper.pdf

Menggunakan peta situs

Pilih URL kanonis untuk setiap halaman dan kirimkan dalam peta situs. Semua halaman yang tercantum dalam peta situs sebaiknya berupa kanonis; Googlebot akan menentukan halaman mana (jika ada) yang duplikat, berdasarkan kemiripan kontennya.

Kami tidak menjamin bahwa kami akan menganggap URL peta situs sebagai kanonis, namun ini cara termudah guna menentukan kanonis untuk situs besar, dan peta situs adalah cara yang tepat untuk memberi tahu Google halaman mana yang dianggap paling penting di situs Anda.

Jangan menyertakan halaman non-kanonis dalam peta situs. Jika menggunakan peta situs, tentukan hanya URL kanonis dalam peta situs tersebut.

Gunakan pengalihan 301 untuk URL yang tidak aktif

Gunakan metode ini jika Anda ingin menghapus halaman duplikat yang ada, tetapi Anda perlu memastikan transisinya berjalan lancar sebelum menonaktifkan URL lama.

Misalnya, halaman Anda dapat dijangkau dengan beberapa cara:

• https://example.com/home
• https://home.example.com
• https://www.example.com

Pilih salah satu URL tersebut sebagai URL kanonis, dan gunakan pengalihan 301 untuk mengirim traffic dari URL lain ke URL pilihan. Pengalihan 301 sisi server adalah cara terbaik untuk memastikan bahwa pengguna dan mesin telusur diarahkan ke halaman yang tepat. Kode status 301 berarti halaman telah dipindahkan secara permanen ke lokasi baru.

Jika Anda menggunakan layanan hosting situs, lakukan penelusuran untuk dokumentasinya tentang penyiapan pengalihan 301.