Senin, 12 Agustus 2019
Biasanya, mesin telusur kami berjalan dengan baik. Tim kami bekerja keras untuk mencegah masalah teknis yang dapat memengaruhi pengguna yang menelusuri web, atau webmaster yang situsnya kami indeks dan tayangkan kepada pengguna. Begitu juga dengan sistem pokok yang kami gunakan untuk mendukung mesin telusur, umumnya semua berjalan sesuai harapan. Gangguan kecil yang terjadi biasanya tidak terlihat oleh siapa pun kecuali tim kami, yang memastikan bahwa produk kami berfungsi tanpa kendala. Namun, seperti sistem kompleks lainnya, terkadang masalah yang lebih besar dapat terjadi, yang mungkin menyebabkan gangguan bagi pengguna dan kreator situs.
Telah terjadi situasi semacam itu dalam beberapa bulan terakhir pada sistem pengindeksan kami, yang menyebabkan efek domino pada beberapa bagian infrastruktur kami. Meskipun kami telah berupaya untuk memperbaiki masalah tersebut secepat mungkin, kami mohon maaf atas gangguan yang ditimbulkan, karena target kami adalah terus menyediakan produk berkualitas tinggi bagi pengguna kami dan ekosistem web.
Sejak saat itu, kami terus mengamati situasi tersebut dengan lebih cermat dan hati-hati. Dalam prosesnya, kami mempelajari beberapa hal yang akan kami bagikan kepada Anda hari ini. Dalam postingan blog ini, kami akan membahas kejadian ini lebih mendetail, menjelaskan rencana komunikasi yang lebih baik jika hal ini terjadi lagi pada masa mendatang, dan mengingatkan pemilik situs tentang saluran yang dapat mereka gunakan untuk berkomunikasi dengan kami.
Jadi, apa yang terjadi beberapa bulan lalu?
Pada April, kami mengalami beberapa masalah pengindeksan. Indeks Penelusuran adalah database yang menampung ratusan miliar halaman web, yang kami crawl di web dan yang kami yakini dapat menjawab sebagian kueri pengguna kami. Saat pengguna memasukkan kueri ke mesin telusur Google, algoritme penentu peringkat kami memilah halaman tersebut dalam indeks Penelusuran untuk menemukan hasil yang paling relevan dan berguna dalam waktu kurang dari satu detik. Berikut informasi selengkapnya tentang kejadian tersebut.
1. Masalah pengindeksan
Sebagai permulaan, kami kehilangan sebagian indeks Penelusuran untuk sementara waktu.
Maksudnya? Apa itu "kehilangan sebagian indeks?" Memangnya itu bisa terjadi?
Pada dasarnya, untuk meningkatkan kecepatan layanan saat menampilkan hasil penelusuran kepada pengguna, kueri pengguna hanya "berpindah" sejauh pusat data terdekat kami yang mendukung produk Google Penelusuran, dan dari pusat data tersebut Halaman Hasil Mesin Telusur (SERP) dihasilkan. Jadi, saat ada modifikasi pada komposisi indeks (penambahan dan penghapusan beberapa halaman, penggabungan dokumen, atau jenis modifikasi data lainnya), modifikasi itu harus tercermin di semua pusat data tersebut. Sehingga pengguna di seluruh dunia akan secara konsisten melihat halaman dari versi terbaru indeks.
Menjaga agar indeks tetap terpadu di semua pusat data tersebut bukanlah pekerjaan mudah. Untuk banyak layanan yang diakses langsung oleh pengguna, kami dapat men-deploy pembaruan dengan memulainya di satu pusat data, lalu meluaskannya hingga semua pusat data yang terkait diperbarui. Untuk bagian infrastruktur yang sensitif, kami dapat memperpanjang peluncuran selama beberapa hari, dengan menyisipkannya ke seluruh instance di berbagai wilayah geografis. sumber.
Jadi, saat kami menerapkan beberapa perubahan terjadwal ke indeks Penelusuran pada 5 April, beberapa bagian dari sistem deployment kami bermasalah, dan pada hari Jumat pula! Lebih spesifiknya, saat kami memperbarui indeks ke sebagian pusat data, sejumlah kecil dokumen secara tidak sengaja terkecualikan dari indeks. Oleh karena itu: "kami kehilangan sebagian indeks".
Untungnya, engineer siaga kami berhasil mendeteksi masalah ini dengan cukup cepat, bersamaan dengan mulai ramainya chat di media sosial (terima kasih kepada semua orang yang telah memberi tahu kami selama akhir pekan tersebut!). Hasilnya, kami dapat mulai memulihkan indeks Penelusuran ke keadaan stabilnya di semua pusat data hanya beberapa jam setelah masalahnya diketahui (kami menyimpan cadangan indeks untuk berjaga-jaga jika peristiwa semacam itu terjadi).
Pada Minggu 7 April, kami menyampaikan bahwa kami mengetahui masalah tersebut dan semuanya mulai kembali normal. Sementara pusat data terus bekerja untuk mengembalikan indeks ke keadaan stabilnya, kami terus memberikan informasi terbaru di Twitter (pada 8 April dan 9 April), hingga kami yakin bahwa semua pusat data sudah sepenuhnya kembali ke versi indeks lengkap pada 11 April.
2. Masalah Search Console
Search Console adalah serangkaian alat dan laporan yang dapat digunakan webmaster untuk mengakses data tentang performa situs mereka di Penelusuran. Misalnya, Search Console menampilkan jumlah tayangan dan klik yang diperoleh situs dalam hasil penelusuran organik setiap harinya, atau informasi tentang halaman situs mana saja yang disertakan dan dikecualikan dari indeks Penelusuran.
Sebagai akibat dari masalah indeks Penelusuran yang kami jelaskan di atas, Search Console juga mulai mengalami inkonsistensi. Hal ini terjadi karena sebagian data yang muncul di Search Console berasal dari indeks Penelusuran itu sendiri:
- Laporan Cakupan Indeks bergantung pada indeks Penelusuran yang konsisten di seluruh pusat data.
- saat kami menyimpan sebuah halaman di indeks Penelusuran, kami dapat memberi anotasi pada entri yang menunjukkan sinyal penting tentang halaman itu, contohnya seperti fakta bahwa halaman tersebut berisi markup hasil kaya. Oleh sebab itu, masalah pada indeks Penelusuran dapat memengaruhi Laporan Hasil Kaya di Search Console.
Pada dasarnya, banyak dari tiap-tiap laporan Search Console yang membaca data dari database khusus. Database tersebut sebagian dibuat menggunakan informasi yang berasal dari indeks Penelusuran. Karena kami perlu mengembalikan indeks Penelusuran ke versi sebelumnya, kami juga perlu menjeda pembaruan database Search Console. Hal ini menghasilkan data yang stabil untuk beberapa laporan (dan gangguan pada data yang lain, seperti data dari Alat Inspeksi URL).
Karena seluruh masalah indeks Penelusuran ini memerlukan waktu beberapa hari untuk dipulihkan (lihat penjelasan di atas), kami harus menunda perbaikan database Search Console hingga beberapa hari kemudian, sampai kami menyelesaikan masalah pengindeksan. Pada 15 April, kami menyampaikan - tweet - bahwa Search Console mengalami masalah dan kami sedang berusaha memperbaikinya. Kami menyelesaikan perbaikan itu pada 28 April (pada hari itu laporan sudah mulai mengumpulkan data baru lagi, lihat grafik di atas). Pada 30 April, kami mengumumkan melalui Twitter bahwa masalah tersebut telah teratasi- tweet.
3. Masalah lain yang tidak terkait dengan bug pengindeksan utama
Google Penelusuran bergantung pada sejumlah sistem yang berfungsi bersama-sama. Beberapa sistem tersebut terkait erat satu sama lain, tetapi dalam kasus tertentu, beberapa bagian sistem yang berbeda mengalami masalah yang tidak saling berkaitan dalam waktu hampir bersamaan.
Dalam kasus ini, misalnya, pada waktu hampir bersamaan dengan terjadinya bug pengindeksan utama yang dijelaskan di atas, kami juga mengalami sedikit masalah untuk mengumpulkan konten Google Berita baru. Selain itu, saat merender halaman, URL tertentu mulai mengalihkan Googlebot ke halaman lain yang tidak terkait. Masalah ini sepenuhnya tidak berkaitan dengan bug pengindeksan, dan dapat diatasi dengan cepat (tweet 1 dan tweet 2).
Komunikasi kami dan niat kami untuk meningkatkannya
Selain melalui media sosial (seperti ditunjukkan di atas), selama beberapa minggu tersebut, kami juga berkomunikasi dengan webmaster melalui 2 saluran lainnya: Search Console dan Pusat Bantuan Search Console.
Di Pusat Bantuan Search Console
Kami memperbarui halaman bantuan "Anomali data di Search Console" setelah masalah diidentifikasi sepenuhnya. Halaman ini digunakan untuk memberikan informasi tentang gangguan data pada layanan Search Console jika dampaknya memengaruhi sejumlah besar pemilik situs.
Di Search Console
Karena kami tahu bahwa tidak semua pengguna membaca media sosial atau halaman Pusat Bantuan eksternal, kami juga menambahkan anotasi di laporan Search Console, untuk memberi tahu pengguna bahwa data yang ditampilkan mungkin tidak akurat (lihat gambar di bawah). Kami menambahkan informasi ini setelah mengatasi bug. Dengan mengklik "lihat di sini untuk detail selengkapnya", pengguna akan diarahkan ke halaman "Anomali Data" di Pusat Bantuan.
Komunikasi ke depannya
Saat ada yang bermasalah di Google, kami memiliki budaya “postmortem” yang kuat, yaitu menulis dokumen untuk membahas gangguan tersebut, dan mencoba mencegahnya terjadi lagi pada masa mendatang. Keseluruhan proses tersebut dijelaskan secara lebih mendetail di situs Google Site Reliability Engineering.
Setelah terjadinya masalah pengindeksan pada April, kami menyertakan dalam dokumen postmortem cara meningkatkan komunikasi dengan webmaster jika terjadi kegagalan sistem skala besar. Keputusan penting kami adalah:
- Mencari cara untuk segera menyampaikan informasi di dalam Search Console itu sendiri mengenai bug yang tersebar luas, dan menyajikan informasi tersebut sebagai poin acuan utama yang harus diperiksa webmaster jika mereka mencurigai adanya gangguan.
- Segera membuat postingan di halaman anomali data Search Console, jika relevan (jika gangguan akan terlihat dalam waktu lama di data Search Console).
- Terus mengirim tweet sesegera mungkin mengenai masalah yang terjadi untuk meyakinkan webmaster bahwa kami mengetahui masalah itu dan sedang menanganinya.
Dengan komitmen tersebut, situasi serupa yang berpotensi terjadi pada masa mendatang akan lebih transparan bagi webmaster secara keseluruhan.
Menerapkan resolusi kami ke dalam tindakan: studi kasus "URL baru tidak diindeks"
Pada 22 Mei, kami menguji strategi komunikasi baru di atas, karena kami mengalami masalah lain. Inilah yang terjadi: selagi memproses URL tertentu, sistem pengelolaan duplikat kami kehabisan memori setelah melakukan upgrade infrastruktur terjadwal. Akibatnya, semua URL yang masuk tidak dapat diproses.
Berikut waktu dan penyampaian informasi yang kami lakukan, sesuai 3 poin yang dirangkum di atas:
-
Kami menemukan masalah (sekitar pukul 05.30 waktu California, pada 22 Mei)
Kami mengirim tweet tentang masalah yang sedang terjadi (sekitar pukul 06.40 waktu California, pada 22 Mei)
Kami mengirim tweet tentang solusinya (sekitar pukul 22.00 waktu California, pada 22 Mei) - Kami mempertimbangkan untuk memperbarui halaman "Anomali Data" di Pusat Bantuan, tetapi tidak melakukannya karena kami menduga masalah ini tidak akan memiliki dampak jangka panjang pada sebagian besar data Search Console webmaster.
- Kebingungan yang dirasakan banyak pihak sehubungan dengan masalah ini mengonfirmasi kesimpulan awal kami tentang perlunya cara untuk menunjukkan dengan lebih jelas di Search Console bahwa gangguan mungkin telah terjadi pada salah satu sistem kami, yang dapat memengaruhi webmaster. Solusi semacam ini mungkin memerlukan waktu lebih lama untuk diterapkan. Kami akan memberi kabar terkait topik ini pada masa mendatang, setelah kami memiliki lebih banyak informasi.
Minggu lalu, kami juga mengalami masalah pengindeksan lain. Seperti pada 22 Mei, kami mengirim tweet untuk memberi tahu pengguna bahwa ada masalah, kami sedang berupaya memperbaikinya, dan ketika masalah tersebut sudah teratasi.
Cara melakukan debug dan menghubungi kami
Kami berharap postingan ini akan memberikan kejelasan tentang betapa kompleksnya sistem kami dan bahwa sistem tersebut terkadang bisa mengalami gangguan. Kami juga berharap postingan ini akan membantu Anda memahami cara penyampaian informasi yang kami lakukan jika terjadi masalah semacam ini. Namun, meskipun postingan ini berfokus pada gangguan sistem yang bisa berdampak luas, perlu diingat bahwa sebagian besar masalah pengindeksan situs disebabkan oleh konfigurasi masing-masing situs, yang dapat menyulitkan Google Penelusuran untuk melakukan pengindeksan dengan tepat. Untuk kasus tersebut, semua webmaster dapat men-debug masalah menggunakan Search Console dan Pusat bantuan kami. Setelah melakukannya, jika tetap yakin masalahnya tidak berasal dari situs Anda, atau Anda tidak tahu cara mengatasinya, Anda dapat menghubungi kami dan komunitas webmaster kami. Kami selalu menerima masukan dari pengguna. Berikut cara memberi tahu kami jika terjadi masalah:
- Lihat Komunitas Webmaster kami. Terkadang, webmaster lain telah mengemukakan masalah yang juga memengaruhi situs Anda.
- Tatap muka! Kami senang menjalin kontak, silakan datang dan berbincang dengan kami di berbagai acara.
- Dalam produk kami! Alat masukan Search Console sangat berguna bagi tim kami.
- Twitter dan YouTube!