Rabu, 11 November 2026
Men-deploy Jaringan Penayangan Konten (CDN) untuk mendistribusikan aset situs Anda ke seluruh server edge yang cepat dan tersebar secara global—sehingga lebih dekat dengan pengguna—bisa menjadi upgrade besar bagi situs apa pun yang sedang berkembang: CDN meminimalkan latensi bagi pengunjung dan melindungi server asal Anda (sumber data utama di backend yang menyimpan konten asli Anda) dari lonjakan traffic yang padat.
Kedengarannya sempurna, kan? Namun, fase transisinya bisa terasa agak aneh.
Kami terkadang mendengar keluhan dari pemilik situs bahwa tepat setelah memasang CDN, traffic crawler ke server mereka melonjak seketika—padahal masalah itulah yang justru ingin mereka atasi. Sebelum server edge tersebut mengisi cache-nya, kunjungan pengguna maupun permintaan crawler masih harus diambil langsung dari server asal.
Saat beralih ke CDN, ada baiknya Anda memahami cara kerja anggaran crawl serta cara mengurangi frekuensi crawling Google dalam situasi darurat. Postingan blog ini bertujuan untuk menjelaskan apa saja yang perlu diantisipasi dari langkah tersebut serta berbagai tantangan yang mungkin muncul. Itulah sebabnya kami bersiap siaga (lengkap dengan helm proyek dan selang pemadam) untuk memandu Anda menghadapi masa transisi tersebut di Episode 5 The Non-Canonical Cabinet. Jika Anda pernah beralih ke CDN dan bertanya-tanya mengapa traffic tiba-tiba melonjak, atau jika Anda ingin mencegah situs Anda terhapus dari Penelusuran secara tidak sengaja, artikel ini sangat cocok untuk Anda.
Jadi, mengapa semuanya di-crawl di mana-mana secara bersamaan?
Saat Anda beralih ke CDN, lonjakan traffic crawler tersebut dapat terjadi karena cara infrastruktur crawling Google menghitung batas kapasitas crawling situs Anda (juga dikenal sebagai hostload):
- Respons yang makin lambat akan menurunkan frekuensi crawling. Infrastruktur crawling otomatis Google terus memantau kondisi dan responsivitas server host Anda. Saat waktu respons meningkat, crawler kami akan melambat agar kami tidak membebani server Anda dan untuk menghindari penurunan kualitas pengalaman pengguna di situs Anda.
- Respons yang cepat dan stabil akan mempercepat crawling. Saat server merespons dengan cepat dan konsisten, sistem kami menafsirkan kecepatan tersebut sebagai tanda infrastruktur yang optimal dan mumpuni. Selama ada permintaan crawl, batas kapasitas crawl akan meningkat secara bertahap.
Saat DNS Anda mengarah ke jaringan edge CDN yang cepat, waktu koneksi dan waktu respons akan menurun drastis. Bagi sistem crawling kami, sepertinya server Anda baru saja mendapatkan upgrade hardware besar-besaran, sehingga crawler kami mulai meningkatkan rasio permintaan mereka agar sesuai.
Namun, ada masalah. Cache tidak ditemukan di server edge.
Frekuensi crawling yang lebih tinggi tidak akan menjadi masalah jika CDN dapat menangani semua permintaan tersebut di server edge. Masalahnya adalah CDN baru dimulai dengan cache kosong (cold).
Pada permintaan pertama untuk sebuah URL di lokasi edge, CDN belum memiliki salinan aset tersebut (dokumen HTML, CSS, JavaScript, gambar, dan sebagainya); ini disebut sebagai cache tidak ditemukan. Untuk memenuhi permintaan tersebut, server edge harus "berjalan" jauh kembali ke server asal Anda, mengambil responsnya, menyimpan salinan yang dapat di-cache untuk dirinya sendiri, baru kemudian melayani klien. Hanya permintaan berikutnya untuk URL yang di-cache yang sama yang menjadi cache ditemukan yang disajikan langsung dari edge tanpa mengganggu server asal Anda. (Dalam video kami, server edge diwakili oleh ayam karet yang berlari bolak-balik ke tumpukan catatan tempel. Diagram jaringan bersifat subjektif.)
Intinya, bottleneck yang sebenarnya selama peluncuran CDN masih ada pada server asal.
Pengunjung manusia biasanya berkumpul di sekitar sekumpulan kecil halaman populer (halaman beranda, artikel teratas, atau promosi aktif) yang di-cache dengan cepat di CDN. Crawler melakukan hal yang sebaliknya. Tugas mereka adalah menelusuri seluruh inventaris URL Anda secara sistematis.
Sekarang gabungkan kedua perilaku tersebut:
- Respons edge yang cepat memberi sinyal kepada crawler Google bahwa aman untuk meng-crawl lebih cepat.
- Saat crawler memproses URL dalam jumlah besar tersebut untuk pertama kalinya, setiap URL yang tidak di-cache akan memicu cache tidak ditemukan yang langsung diteruskan ke server asal Anda.
Crawler tidak langsung meningkatkan frekuensi crawling, dan banyak CDN menyertakan pengaturan kecepatan koneksi bawaan yang membantu memperlancar lonjakan traffic. Meski begitu, hingga cache edge Anda terisi penuh, CDN Anda belum bertindak sebagai pelindung, server asal Anda masih melakukan pekerjaan berat.
Anda tidak boleh meng-crawl! Saat perlindungan bot menyeluruh justru merugikan
Melihat lonjakan permintaan otomatis yang tidak terduga pada log asal tepat setelah migrasi tentu bisa membuat admin merasa cemas, apalagi jika mereka tidak memahami mengapa hal ini terjadi. Melihat grafik permintaan yang melonjak saat cache sedang dalam proses pengisian (warming up) memang bisa memicu kekhawatiran, sehingga Anda mungkin tergoda untuk mengatasinya dengan login ke dasbor CDN dan mengaktifkan perlindungan bot menyeluruh. Mengutip kata-kata Cherry, "BOT DILARANG LEWAT"!
Masalah dengan aturan keamanan menyeluruh sudah terlihat jelas dari namanya: tanpa pengecualian, aturan tersebut memukul rata semua traffic otomatis, termasuk traffic dari crawler yang sebenarnya Anda butuhkan. Saat CDN atau firewall aplikasi web (WAF) menandai permintaan otomatis dan mengintersepnya dengan tantangan seperti CAPTCHA, Crawler Google akan gagal dalam pengujian. (Googlebot punya banyak bakat; mengenali lampu lalu lintas dan ayam bukanlah salah satunya. Bahkan, terkadang Gary pun tidak bisa menyelesaikannya.)
Membiarkan perlindungan bot menyeluruh tetap aktif tanpa mengecualikan crawler terverifikasi akan membuat crawler terjebak di halaman error. Hal ini tentu merugikan bagi Penelusuran ataupun produk lain yang mengandalkan data hasil crawl. Bagi sistem kami, situs Anda terlihat sengaja dibatasi atau sedang rusak. Jika dibiarkan, crawler kami akan berhenti memproses situs Anda, sehingga halaman, listingan produk, serta foto-foto ayam Anda akan mulai hilang dari Penelusuran.
Cara melatih CDN Anda (tanpa membebani server asal)
Anda tidak perlu memanggil petugas pemadam kebakaran untuk men-deploy CDN; Anda hanya perlu ekspektasi yang tepat dan rencana matang, seperti:
- Jika Anda perlu memblokir bot, izinkan bot terverifikasi di setelan CDN dan firewall Anda. Sebagian besar CDN dan WAF utama menyediakan tombol (toggle) atau aturan terkelola bawaan untuk mengizinkan bot yang dikenal/terverifikasi. Fitur ini memungkinkan crawler pilihan Anda melewati tantangan CAPTCHA selagi sistem tetap memfilter traffic yang tidak diinginkan (Anda dapat mengidentifikasi crawler kami melalui rentang IP yang dipublikasikan Google). Atau lebih baik lagi, mengonfigurasi file robots.txt atau menggunakan aturan untuk menarget bot tertentu yang tidak diinginkan, daripada memblokir semua klien otomatis.
- Lakukan pemanasan cache (pre-warm) sebelum membuka gerbang traffic lebar-lebar. Sebelum mengarahkan semua traffic melalui CDN baru, ambil halaman dengan traffic tertinggi, halaman dengan potensi traffic puncak (seperti peluncuran promosi atau musiman), dan URL yang paling sering di-crawl secara terprogram melalui CDN dengan kecepatan terkontrol agar edge caching siap menyajikan traffic. Atau, jika tidak seperti Gary Anda sebenarnya punya teman, minta saja mereka masing-masing mengakses dua URL berbeda; cara itu juga bisa membantu.
-
Gunakan
429atau503jika Anda memerlukan jeda sementara. Jika volume crawl masih membebani server asal Anda saat cache sedang dalam proses pengisian (warming up), konfigurasikan aturan pembatasan kapasitas pada server atau CDN Anda untuk memberikan kode status HTTP429 (Too Many Requests)atau503 (Service Unavailable)dalam jangka waktu singkat (beberapa jam, atau paling lama 1–2 hari) sebagaimana dijelaskan dalam panduan kami tentang segera mengurangi frekuensi crawling Google.
Ringkasan TL;DR (Siapa Juga yang Menaruh TL;DR di Akhir?!)
Sebelum Anda membereskan kabel Ethernet di rak server dan menyudahi pekerjaan hari ini, ingatlah tiga hal berikut saat beralih ke CDN:
- Respons yang lebih cepat berarti crawling yang lebih cepat: Latensi edge CDN yang rendah memberi sinyal kepada crawler Google bahwa situs Anda sehat dan dapat menangani frekuensi crawling yang lebih tinggi.
- Cache hanya melindungi Anda pada kunjungan kedua: Pada cache kosong (cold cache), permintaan pertama untuk setiap URL unik akan memicu cache tidak ditemukan yang langsung diteruskan ke server asal Anda. Lakukan pemanasan cache (pre-warm) jika mungkin.
-
Jika perlu, kecualikan crawler terverifikasi dari tantangan bot: Jangan biarkan aturan
WAF atau CAPTCHA yang bersifat umum memblokir crawler Google dengan dinding
403atau halaman tantangan; gunakan pengecualian bot terverifikasi, dan manfaatkan respons429atau503sementara jika server asal Anda memang perlu sedikit kelonggaran.
Apa, Anda tidak terhibur? Tonton Episodenya.
Tonton episode terakhir Season 1 (Episode 5) The Non-Canonical Cabinet. Kami menjelaskan arsitektur jaringan menggunakan helm proyek plastik, lemari arsip yang berasap, dan ayam karet yang berperan sebagai server edge—yang kami yakin semuanya tidak ada dalam deskripsi pekerjaan asli kami.
Tertarik untuk menonton Season 1 selengkapnya? Kami mencoba menguji ketahanan URL dan robots.txt. Kami mengobrol seru soal
404 dan
pengalihan.
Tonton ke-5 episodenya.
Kami menjamin Anda akan dibanjiri ayam karet.
Punya kasus unik yang ingin kami angkat dari kabinet (yang agak gosong) ini di season depan (tergantung anggaran)? Tuliskan komentar di video tersebut.
Jaga cache Anda tetap hangat, firewall Anda tetap rapi, dan ayam karet Anda tetap aman dalam balutan bubble wrap!