Ringkasan topik crawling dan pengindeksan

Topik di bagian ini menjelaskan bagaimana Anda dapat mengontrol kemampuan Google untuk menemukan dan mengurai konten Anda guna menampilkannya di Penelusuran dan Properti Google lainnya, serta cara mencegah Google meng-crawl konten tertentu di situs Anda.

Berikut deskripsi singkat dari setiap halaman. Untuk mendapatkan ringkasan crawling dan pengindeksan, baca Panduan lanjutan tentang cara kerja Penelusuran.

Topik
Peta situs Memberi tahu Google tentang halaman di situs Anda yang baru atau diperbarui.
robots.txt File robots.txt memberi tahu crawler mesin telusur halaman atau file mana yang dapat atau tidak dapat diminta oleh crawler dari situs.
Tag meta Google mendukung beberapa ekstensi tag yang mengatur perilaku dan tampilan penelusuran.
Pengelolaan crawler
Penghapusan
Konten duplikat Beri tahu Google tentang halaman duplikat di situs Anda untuk menghindari crawling yang berlebihan. Pelajari cara Google mendeteksi otomatis konten duplikat, menangani konten duplikat, dan menetapkan halaman kanonis ke grup halaman duplikat yang ditemukan.
Pemindahan dan perubahan situs
Situs internasional dan multibahasa Jika situs Anda berisi konten dalam berbagai bahasa, atau memiliki konten yang berbeda untuk berbagai lokasi, berikut cara untuk membantu Google memahami situs Anda.
Konten JavaScript Ada beberapa perbedaan dan batasan yang perlu Anda perhitungkan saat mendesain halaman dan aplikasi Anda untuk mengakomodasi cara crawler mengakses dan merender konten Anda.