Thứ Hai, ngày 12 tháng 8 năm 2019
Thường thì công cụ tìm kiếm của chúng tôi luôn hoạt động đúng cách. Đội ngũ của chúng tôi luôn nỗ lực ngăn chặn các vấn đề kỹ thuật có thể ảnh hưởng đến người dùng đang tìm kiếm trên web cũng như đến những quản trị viên trang web có các trang web mà chúng tôi lập chỉ mục và phân phát cho người dùng. Tương tự như vậy, các hệ thống cơ bản mà chúng tôi dùng để hỗ trợ công cụ tìm kiếm cũng hoạt động như dự kiến trong hầu hết trường hợp. Khi có gián đoạn nhỏ, hầu như không ai thấy, ngoại trừ các nhóm phụ trách việc đảm bảo duy trì hoạt động của các sản phẩm của chúng tôi. Tuy nhiên, giống như mọi hệ thống phức tạp khác, đôi khi chúng tôi cũng gặp phải một số sự cố lớn có thể gây gián đoạn cho cả người dùng và người tạo trang web.
Vài tháng qua, một tình huống như vậy đã xảy ra với hệ thống lập chỉ mục của chúng tôi, ảnh hưởng cả đến một số phần khác trong cơ sở hạ tầng của chúng tôi. Tuy đã nỗ lực khắc phục tình hình nhanh nhất có thể, nhưng chúng tôi lấy làm tiếc về sự gián đoạn này, vì mục tiêu của chúng tôi là liên tục cung cấp sản phẩm chất lượng cao cho người dùng và cho hệ sinh thái web.
Sau đó, chúng tôi đã xem xét tình huống này kỹ hơn. Trong quá trình này, chúng tôi đã rút ra một số bài học mà hôm nay chúng tôi muốn chia sẻ với bạn. Trong bài đăng trên blog này, chúng tôi sẽ đi sâu hơn về vấn đề đã xảy ra, làm rõ cách chúng tôi dự định trao đổi một cách hiệu quả hơn trong tương lai, đồng thời nhắc chủ sở hữu trang web về những kênh mà qua đó họ có thể liên hệ với chúng tôi.
Vài tháng trước có điều gì xảy ra vậy?
Tháng 4 vừa qua, chúng tôi gặp phải một số vấn đề liên quan đến chỉ mục của mình. Chỉ mục của Tìm kiếm là cơ sở dữ liệu chứa hàng trăm tỷ trang web mà chúng tôi thu thập được trên web và chúng tôi cho rằng có thể giúp giải đáp một số truy vấn của người dùng. Khi người dùng nhập một cụm từ tìm kiếm vào công cụ tìm kiếm của Google, thuật toán xếp hạng của chúng tôi sẽ sắp xếp các trang trong chỉ mục của Tìm kiếm để tìm ra kết quả phù hợp và hữu ích nhất chỉ trong tích tắc. Sau đây là thông tin thêm về những gì đã xảy ra.
1. Vấn đề về việc lập chỉ mục
Ban đầu, chúng tôi tạm thời mất một phần chỉ mục của Tìm kiếm.
Chờ đã... Gì cơ? "Mất một phần chỉ mục" ư? Điều đó xảy ra được sao?
Về cơ bản, trong quá trình phân phát kết quả tìm kiếm cho người dùng, để tăng tốc độ của dịch vụ, truy vấn của người dùng chỉ "di chuyển" xa nhất là trong trung tâm dữ liệu gần nhất của chúng tôi có hỗ trợ sản phẩm Google Tìm kiếm, đây là nơi tạo ra trang kết quả của công cụ tìm kiếm (SERP). Vì vậy, khi có sự sửa đổi đối với thành phần của chỉ mục (một số trang được thêm và xoá, tài liệu được hợp nhất hay hình thức sửa đổi dữ liệu khác), những sửa đổi đó cần được phản ánh trong mọi trung tâm dữ liệu nói trên. Kết quả là người dùng trên toàn thế giới được phân phát liên tục các trang từ phiên bản mới nhất của chỉ mục.
Duy trì chỉ mục thống nhất trên mọi trung tâm dữ liệu là một nhiệm vụ không hề đơn giản. Đối với những dịch vụ mà người dùng tiếp xúc trực tiếp ở mức cao, chúng tôi có thể triển khai bản cập nhật bằng cách bắt đầu tại một trung tâm dữ liệu rồi mở rộng cho đến khi tất cả trung tâm dữ liệu liên quan được cập nhật. Đối với một số phần cơ sở hạ tầng nhạy cảm, có thể chúng tôi kéo dài quá trình triển khai trong vài ngày và dần thay thế chúng tại nhiều khu vực địa lý. nguồn.
Vì vậy, khi chúng tôi triển khai một số thay đổi theo kế hoạch cho chỉ mục của Tìm kiếm, vào ngày 5 tháng 4, một số phần trong hệ thống gặp trục trặc, đúng vào thứ Sáu! Cụ thể hơn, do chúng tôi đã cập nhật chỉ mục trong một số trung tâm dữ liệu, nên một lượng nhỏ tài liệu đã vô tình bị loại khỏi chỉ mục. Do đó, "chúng tôi mất một phần chỉ mục".
Thật may là các kỹ sư trực chiến của chúng tôi đã nhanh chóng phát hiện được sự cố đó, cùng lúc chúng tôi bắt đầu nghe tin trên mạng xã hội (xin cảm ơn những người đã thông báo cho chúng tôi vào cuối tuần đó!) Kết quả là chúng tôi có thể bắt đầu khôi phục chỉ mục của Tìm kiếm về trạng thái ổn định trước đó trên tất cả trung tâm dữ liệu chỉ vài giờ sau khi phát hiện ra vấn đề (chúng tôi luôn sao lưu chỉ mục phòng những trường hợp như vậy).
Chúng tôi thông báo vào Chủ Nhật, ngày 7 tháng 4, rằng chúng tôi đã nắm được vấn đề đó và mọi thứ bắt đầu trở lại bình thường. Khi các trung tâm dữ liệu dần có lại chỉ mục ổn định, chúng tôi tiếp tục cập nhật trên Twitter (ngày 8 tháng 4 và ngày 9 tháng 4), cho đến khi chúng tôi tin chắc rằng tất cả trung tâm dữ liệu đều đã có trở lại phiên bản hoàn chỉnh của chỉ mục vào ngày 11 tháng 4.
2. Vấn đề với Search Console
Search Console là một bộ công cụ và báo cáo mà quản trị viên trang web có thể sử dụng để truy cập vào dữ liệu về hiệu suất của trang web của họ trên Tìm kiếm. Ví dụ: Search Console cho biết số lượt hiển thị và số lượt nhấp vào một trang web trong kết quả tìm kiếm tự nhiên mỗi ngày hoặc thông tin về những trang thuộc trang web được đưa vào hay bị loại trừ khỏi chỉ mục của Google Tìm kiếm.
Sau khi chỉ mục của Tìm kiếm gặp phải những vấn đề chúng tôi mô tả ở trên, Search Console bắt đầu thể hiện sự không thống nhất. Lý do là một số dữ liệu xuất hiện trong Search Console bắt nguồn từ chính chỉ mục của Tìm kiếm:
- báo cáo Phạm vi lập chỉ mục phụ thuộc vào việc chỉ mục của Tìm kiếm nhất quán trên mọi trung tâm dữ liệu.
- khi lưu trữ một trang trong chỉ mục của Tìm kiếm, chúng tôi có thể chú thích mục tương ứng bằng các tín hiệu chính về trang đó, chẳng hạn như việc trang có chứa mã đánh dấu kết quả nhiều định dạng. Do đó, việc chỉ mục của Tìm kiếm gặp vấn đề có thể ảnh hưởng đến báo cáo Kết quả nhiều định dạng trong Search Console.
Về cơ bản, nhiều báo cáo riêng lẻ trong Search Console đọc dữ liệu qua một cơ sở dữ liệu chuyên dụng. Cơ sở dữ liệu này được xây dựng một phần bằng cách sử dụng thông tin trong chỉ mục của Tìm kiếm. Do phải quay về phiên bản trước của chỉ mục của Tìm kiếm, chúng tôi cũng phải tạm dừng quá trình cập nhật cơ sở dữ liệu của Search Console. Điều này dẫn đến tình trạng không có thêm dữ liệu cho một số báo cáo (và lỗi trong một số báo cáo khác, chẳng hạn như Công cụ kiểm tra URL).
Do toàn bộ vấn đề liên quan đến chỉ mục của Tìm kiếm phải mất vài ngày mới khôi phục được (xem nội dung giải thích ở trên) nên chúng tôi chưa chú trọng việc khắc phục vấn đề về cơ sở dữ liệu của Search Console cho đến vài ngày sau đó, khi vấn đề về việc lập chỉ mục đã được khắc phục. Chúng tôi thông báo trên tweet ngày 15 tháng 4 rằng Search Console gặp sự cố và chúng tôi đang nỗ lực khắc phục sự cố này. Chúng tôi hoàn tất các bản sửa lỗi vào ngày 28 tháng 4 (ngày mà các báo cáo bắt đầu thu thập lại dữ liệu mới, xem biểu đồ ở trên). Ngày 30 tháng 4, chúng tôi thông báo trên Twitter rằng vấn đề đã được giải quyết (tweet).
3. Các vấn đề khác không liên quan đến lỗi lập chỉ mục chính
Google Tìm kiếm hoạt động dựa trên một số hệ thống phối hợp hoạt động với nhau. Tuy một số hệ thống trong số đó có thể được liên kết chặt chẽ với nhau, nhưng trong một số trường hợp, một số phần của hệ thống cùng lúc gặp phải những vấn đề không liên quan đến nhau.
Ví dụ như trong trường hợp ở đây, cùng lúc với lỗi lập chỉ mục chính (như trình bày ở trên), chúng tôi cũng gặp phải một số vấn đề nhỏ về việc thu thập nội dung mới cho Google Tin tức. Ngoài ra, trong quá trình kết xuất trang, một số URL bắt đầu chuyển hướng Googlebot đến các trang khác không liên quan. Những vấn đề này hoàn toàn không liên quan đến lỗi lập chỉ mục nói trên và đã nhanh chóng được giải quyết (tweet 1 và tweet 2).
Kênh liên lạc của chúng tôi và cách chúng tôi dự định cải thiện
Ngoài việc liên lạc qua mạng xã hội (như nhấn mạnh ở trên) trong vài tuần đó, chúng tôi cũng cung cấp cho quản trị viên trang web thông tin chi tiết hơn qua 2 kênh khác: Search Console và Trung tâm trợ giúp của Search Console.
Trong Trung tâm trợ giúp của Search Console
Chúng tôi đã cập nhật trang trợ giúp về "Điểm dữ liệu bất thường trong Search Console" sau khi hoàn toàn xác định được vấn đề này. Trang này được dùng để cung cấp thông tin về tình trạng gián đoạn dữ liệu cho dịch vụ Search Console của chúng tôi khi tác động của tình trạng này ảnh hưởng đến một số lượng lớn chủ sở hữu trang web.
Trong Search Console
Vì chúng tôi biết rằng không phải người dùng nào của chúng tôi cũng đọc trang mạng xã hội hoặc trang Trung tâm trợ giúp bên ngoài, nên chúng tôi cũng bổ sung chú thích vào báo cáo trong Search Console để thông báo cho người dùng về việc dữ liệu có thể không chính xác (xem hình ảnh bên dưới). Chúng tôi đã thêm thông tin này sau khi giải quyết xong lỗi. Khi nhấp vào mục "xem ở đây để biết thêm chi tiết", người dùng sẽ được đưa đến trang "Điểm dữ liệu bất thường" trong Trung tâm trợ giúp.
Cách thức liên lạc từ giờ trở đi
Khi có sự cố tại Google, chúng tôi có văn hoá "mổ xẻ phân tích" mạnh mẽ: đó là việc tạo một tài liệu để tóm tắt sự cố và cố gắng tránh xảy ra sự cố đó lần nữa. Toàn bộ quy trình này được mô tả chi tiết hơn tại trang web của Google về Kỹ thuật về độ tin cậy của trang web.
Sau vấn đề về việc lập chỉ mục vào tháng 4, chúng tôi đưa vào phần mổ xẻ phân tích nội dung về cách liên lạc hiệu quả hơn với quản trị viên trang web trong trường hợp có sự cố hệ thống lớn. Sau đây là các quyết định chính của chúng tôi:
- Tìm ra các cách nhanh chóng hơn để chia sẻ thông tin trong Search Console về các lỗi trên diện rộng, và coi thông tin đó là nguồn tham khảo chính để các quản trị viên trang web kiểm tra trong trường hợp họ nghi ngờ việc xảy ra tình trạng ngừng dịch vụ.
- Kịp thời đăng lên trang về điểm bất thường trong dữ liệu của Search Console khi thích hợp (nếu có thể nhận thấy tình trạng xáo trộn về dài hạn trong dữ liệu của Search Console).
- Tiếp tục tweet càng nhanh càng tốt về những vấn đề như vậy để nhanh chóng trấn an quản trị viên trang web rằng chúng tôi đã nắm được và đang xử lý vấn đề.
Những cam kết này sẽ giúp quản trị viên trang web nắm rõ hơn những tình huống tương tự trong tương lai.
Biến giải pháp thành hành động: nghiên cứu điển hình "URL mới chưa được lập chỉ mục"
Ngày 22 tháng 5, chúng tôi thử nghiệm chiến lược liên lạc mới do gặp phải một vấn đề khác. Sau đây là những gì đã xảy ra: trong khi xử lý một số URL, hệ thống quản lý trùng lặp của chúng tôi bị hết bộ nhớ sau khi nâng cấp cơ sở hạ tầng theo kế hoạch, khiến tất cả URL đến đều bị ngừng xử lý.
Sau đây là tiến trình suy nghĩ về thông tin liên lạc, theo 3 điểm nổi bật vừa nêu ở trên:
-
Chúng tôi nhận thấy sự cố (khoảng 5 giờ 30 sáng theo giờ California, ngày 22 tháng 5)
Chúng tôi tweet về sự cố đang xảy ra (khoảng 6 giờ 40 sáng theo giờ California, ngày 22 tháng 5)
Chúng tôi tweet về cách giải quyết (khoảng 10 giờ tối theo giờ California, ngày 22 tháng 5) - Chúng tôi có cân nhắc việc cập nhật trang "Điểm dữ liệu bất thường" trong Trung tâm trợ giúp nhưng đã quyết định không thực hiện vì chúng tôi nhận thấy sẽ không có tác động lâu dài đối với phần lớn dữ liệu của quản trị viên trang web trong Search Console.
- Sự lộn xộn mà vấn đề này tạo ra cho rất nhiều người đã khẳng định lại kết luận trước đó của chúng tôi về việc chúng tôi cần một cách thức thông báo rõ ràng hơn ngay trong Search Console phòng khi một trong cá hệ thống của chúng tôi gặp gián đoạn có thể ảnh hưởng đến quản trị viên trang web. Giải pháp như vậy có thể mất nhiều thời gian hơn để triển khai. Chúng tôi sẽ tiếp tục thông báo về chủ đề này khi có thêm tin tức.
Tuần trước, chúng tôi cũng gặp phải một vấn đề khác về việc lập chỉ mục. Ngày 22 tháng 5, chúng tôi tweet để cho mọi người biết rằng có vấn đề xảy ra, rằng chúng tôi đang nỗ lực khắc phục và thời điểm khắc phục xong vấn đề đó.
Cách gỡ lỗi và liên hệ với chúng tôi
Chúng tôi hy vọng bài đăng này sẽ giúp bạn hiểu rõ hơn về mức độ phức tạp của các hệ thống của chúng tôi và rằng đôi khi các hệ thống đó có thể gặp vấn đề, đồng thời giúp bạn hiểu được cách chúng tôi trao đổi về những vấn đề như vậy. Tuy nhiên, mặc dù bài đăng này tập trung vào việc hệ thống gặp vấn đề trên diện rộng, nhưng bạn cần lưu ý rằng hầu hết vấn đề về việc lập chỉ mục trang web đều do cấu hình của từng trang web riêng lẻ gây ra. Việc này có thể khiến Google Tìm kiếm khó lập chỉ mục trang web đó đúng cách. Đối với những trường hợp như vậy, tất cả quản trị viên trang web đều có thể khắc phục vấn đề nhờ Search Console và Trung tâm trợ giúp của chúng tôi. Sau khi làm như vậy, nếu bạn vẫn cho rằng vấn đề không phải do trang web của mình hoặc không biết cách giải quyết, hãy liên hệ với chúng tôi và cộng đồng của chúng tôi. Chúng tôi luôn chào đón ý kiến phản hồi của người dùng. Sau đây là cách thông báo một vấn đề cho chúng tôi:
- Tham khảo Cộng đồng dành cho quản trị viên trang web. Đôi khi các quản trị viên trang web khác đã nêu nhấn mạnh một vấn đề cũng ảnh hưởng đến trang web của bạn.
- Trực tiếp! Chúng tôi thích được trao đổi, hãy đến và trò chuyện với chúng tôi tại các sự kiện.
- Trong các sản phẩm của chúng tôi! Công cụ phản hồi trong Search Console rất hữu ích đối với các nhóm của chúng tôi.
- Twitter và YouTube!