Ringkasan topik crawling dan pengindeksan

Topik di bagian ini menjelaskan bagaimana Anda dapat mengontrol kemampuan Google' untuk menemukan dan mengurai konten Anda guna menampilkannya di Penelusuran dan Properti Google lainnya, serta cara mencegah Google meng-crawl konten tertentu di situs Anda.

Berikut deskripsi singkat dari setiap halaman. Untuk mendapatkan ringkasan terkait crawling dan pengindeksan, baca panduan Cara kerja Penelusuran kami.

Topik
Jenis file yang dapat diindeks oleh Google Google dapat mengindeks konten dari sebagian besar jenis halaman dan file. Jelajahi daftar jenis file paling umum yang dapat diindeks oleh Google Penelusuran.
Struktur URL Pertimbangkan untuk mengelola konten Anda agar URL dapat disusun secara logis dan dengan cara yang paling dapat dipahami oleh pengguna.
Peta situs Memberi tahu Google tentang halaman di situs Anda yang baru atau diperbarui.
Pengelolaan crawler
robots.txt File robots.txt memberi tahu crawler mesin telusur halaman atau file mana yang dapat atau tidak dapat diminta oleh crawler dari situs.
Kanonikalisasi Pelajari apa itu kanonikalisasi URL dan cara memberi tahu Google tentang halaman duplikat di situs Anda untuk menghindari crawling yang berlebihan. Pelajari cara Google mendeteksi otomatis konten duplikat, menangani konten duplikat, dan menetapkan URL kanonis ke grup halaman duplikat yang ditemukan.
Situs seluler Pelajari cara mengoptimalkan situs untuk perangkat seluler dan memastikan situs tersebut di-crawl serta diindeks dengan benar.
AMP Jika Anda memiliki halaman AMP, pelajari cara kerja AMP di Google Penelusuran.
JavaScript Ada beberapa perbedaan dan batasan yang perlu Anda perhitungkan saat mendesain halaman dan aplikasi Anda untuk mengakomodasi cara crawler mengakses dan merender konten Anda.
Metadata halaman dan konten
Penghapusan
Pemindahan dan perubahan situs