Lunes, 12 de agosto de 2019
La mayoría de las veces, nuestro motor de búsqueda funciona correctamente. Nuestros equipos se esfuerzan para evitar problemas técnicos que puedan afectar a los usuarios que realizan búsquedas en la Web o a los webmasters cuyos sitios indexamos y mostramos a los usuarios. De forma similar, los sistemas subyacentes que usamos para alimentar el motor de búsqueda también se ejecutan como se espera la mayor parte del tiempo. Cuando se producen interrupciones pequeñas, en gran parte, no son visibles para nadie, excepto nuestros equipos, que se aseguran de que nuestros productos estén activos. Sin embargo, como en todos los sistemas complejos, a veces se pueden producir interrupciones más importantes, lo que puede afectar tanto a usuarios como a creadores de sitios web.
En los últimos meses, se produjo esta situación con nuestros sistemas de indexación, que tuvo un efecto dominó en algunas otras partes de la infraestructura. Si bien trabajamos lo más rápido posible para solucionar la situación, te pedimos disculpas por la interrupción, ya que nuestro objetivo es proporcionar productos de alta calidad a los usuarios y al ecosistema web de manera continua.
Desde entonces, analizamos en detalle la situación. En el proceso, aprendimos algunas lecciones que hoy queremos compartir contigo. En esta entrada de blog, brindaremos más detalles sobre lo que sucedió, aclararemos cómo planeamos comunicarnos mejor si se repite en el futuro y les recordaremos a los propietarios de sitios web qué canales pueden usar para comunicarse con nosotros.
¿Qué sucedió hace unos meses?
En abril, tuvimos varios problemas relacionados con nuestro índice. El índice de la Búsqueda es la base de datos que contiene los cientos de miles de millones de páginas web que rastreamos en la Web y que creemos que podrían responder algunas de las consultas de nuestros usuarios. Cuando un usuario ingresa una consulta en el motor de búsqueda de Google, nuestros algoritmos de clasificación ordenan esas páginas en nuestro índice de la Búsqueda para encontrar los resultados más relevantes y útiles en una fracción de segundo. Aquí encontrarás más información sobre lo que sucedió.
1. El problema de indexación
Para comenzar, perdimos de forma temporal parte del índice de la Búsqueda.
Espera… ¿Qué? ¿A qué te refieres con "perdimos parte del índice"? ¿Es posible?
Básicamente, cuando se muestran los resultados de la búsqueda a los usuarios, para acelerar la velocidad del servicio, la consulta del usuario solo "viaja" al más cercano de nuestros centros de datos que admite el producto de la Búsqueda de Google, desde el cual se genera la página de resultados del motor de búsqueda (SERP). Por lo tanto, cuando hay modificaciones en la composición del índice (se agregan y se quitan algunas páginas, se combinan los documentos o algún otro tipo de modificación de datos), estas deben reflejarse en todos esos datos centros de datos. La consecuencia es que los usuarios de todo el mundo ven páginas de manera constante de la versión más reciente del índice.
Mantener el índice unificado en todos esos centros de datos es una tarea importante. En el caso de los servicios grandes orientados al usuario, podemos implementar actualizaciones que comiencen en un centro de datos y se amplíen hasta que se actualicen todos los centros de datos relevantes. En el caso de las partes sensibles de infraestructura, podemos realizar el lanzamiento a lo largo de varios días intercalado en instancias en distintas regiones geográficas. Fuente
Así, mientras implementábamos algunos cambios planificados en el índice de la Búsqueda, el 5 de abril (un viernes, por si fuera poco), se descompuso parte del sistema de implementación. Más específicamente: mientras actualizábamos el índice en algunos de nuestros centros de datos, se eliminó por accidente una pequeña cantidad de documentos del índice. En consecuencia, "perdimos parte del índice".
Por fortuna, nuestros ingenieros de guardia detectaron el problema bastante rápido, al mismo tiempo que empezamos a notar más actividad en las redes sociales (gracias a todos los que nos enviaron notificaciones durante ese fin de semana). Como resultado, pudimos comenzar a revertir el índice de la Búsqueda a su estado estable anterior en todos los centros de datos solo unas pocas horas después de descubrir el problema (conservamos copias de seguridad de nuestros índices en caso de que ocurran estos eventos).
El domingo 7 de abril, comunicamos que estábamos al tanto del problema y que todo estaba volviendo a normalidad. A medida que los centros de datos volvían a ser estables de manera progresiva, seguimos informando en Twitter (el 8 de abril y el 9 de abril), hasta que estuvimos seguros de que todos los centros de datos habían recuperado una versión completa del índice el 11 de abril.
2. El problema con Search Console
Search Console es el conjunto de informes y herramientas que cualquier webmaster puede usar para acceder a datos sobre el rendimiento de su sitio web en la Búsqueda. Por ejemplo, muestra cuántas impresiones y clics recibe un sitio web en los resultados de la búsqueda orgánica cada día, o bien información sobre qué páginas de un sitio web se incluyen y excluyen del índice de la Búsqueda.
Como consecuencia de que los índices de la Búsqueda tenían los problemas que describimos antes, Search Console también comenzó a mostrar inconsistencias. Esto se debe a que algunos de los datos que aparecen en Search Console se originan en el índice de la Búsqueda:
- El Informe de cobertura de la indexación depende de que el índice de la Búsqueda sea coherente en todos los centros de datos.
- Cuando almacenamos una página en el índice de la Búsqueda, podemos anotar la entrada con indicadores clave sobre la página, como el hecho de que la página contiene lenguaje de marcado de resultados enriquecidos, por ejemplo. Por lo tanto, un problema con el índice de la Búsqueda puede impactar en los informes de resultados enriquecidos de Search Console.
En términos sencillos, muchos informes individuales de Search Console leen datos de una base de datos dedicada. Esa base de datos se compila parcialmente con información que proviene del índice de la Búsqueda. Como tuvimos que volver a una versión anterior del índice de la Búsqueda, también tuvimos que detener la actualización de la base de datos de Search Console. Esto provocó un estancamiento de los datos de algunos informes (e imprevisibilidad de otros, como la Herramienta de inspección de URL).
Debido a que todo el problema del índice de la Búsqueda demoró varios días en revertirse (consulta la explicación anterior), nos retrasamos en enfocarnos en corregir la base de datos de Search Console hasta unos días después, solo luego de que se solucionaran los problemas de indexación. El 15 de abril, comunicamos (tweet) que Search Console tenía problemas y que estábamos trabajando para solucionarlos, y el 28 de abril completamos nuestras correcciones (día en el que los informes comenzaron a recopilar datos nuevos otra vez; consulta el gráfico anterior). El 30 de abril, comunicamos en Twitter que el problema estaba solucionado (tweet).
3. Otros problemas no relacionados con el error de indexación principal
La Búsqueda de Google depende de varios sistemas que funcionan en conjunto. Si bien algunos de esos sistemas pueden vincularse estrechamente entre sí, en algunos casos, diferentes partes del sistema experimentan problemas no relacionados al mismo tiempo.
En el caso actual, por ejemplo, casi al mismo tiempo que el error de indexación principal que se explicó anteriormente, también tuvimos breves problemas para recopilar contenido nuevo de Google Noticias. Además, mientras se renderizaban páginas, algunas URLs comenzaron a redireccionar a Googlebot a otras páginas no relacionadas. Estos problemas no estaban relacionados con el error de indexación y se resolvieron con rapidez (tweet 1 y tweet 2).
Nuestra comunicación y cómo planeamos mejorar
Además de comunicarnos en las redes sociales (como se detalló anteriormente) durante esas semanas, también proporcionamos más detalles a los webmasters en otros 2 canales: Search Console y el Centro de ayuda de Search Console.
En el Centro de ayuda de Search Console
Actualizamos nuestra página de ayuda "Anomalías de datos en Search Console" después de identificar por completo el problema. Esta página sirve para comunicar información sobre las interrupciones de datos en nuestro servicio de Search Console cuando el impacto afecta a una gran cantidad de propietarios de sitios web.
En Search Console
Como sabemos que no todos nuestros usuarios leen redes sociales o la página externa del Centro de ayuda, también agregamos anotaciones en los informes de Search Console para notificar a los usuarios que es posible que los datos no sean precisos (consulta la imagen que aparece a continuación). Agregamos esta información después de resolver los errores. Si los usuarios hacen clic en "Encuentra más detalles aquí", se los redireccionará a la página "Anomalías de datos" del Centro de ayuda.
Comunicaciones en el futuro
Cuando ocurren problemas en Google, tenemos una sólida cultura de análisis de resultados: crear un documento para analizar la falla y tratar de evitar que se repita en el futuro. Todo el proceso se describe con más detalle en el sitio web de ingeniería de confiabilidad de sitios de Google.
A partir de los problemas de indexación de abril, incluimos en el análisis de resultados cómo comunicarnos mejor con los webmasters en caso de que se produzcan fallas importantes en el sistema. Estas fueron nuestras decisiones clave:
- Explorar maneras de compartir información en Search Console con mayor rapidez sobre errores generalizados y hacer que esos datos funcionen como punto de referencia principal para que los webmasters los verifiquen, en caso de que se sospeche una interrupción
- Publicar de forma más rápida en la página de anomalías de datos de Search Console cuando sea relevante (si la interrupción se verá a largo plazo en los datos de Search Console)
- Seguir twitteando lo más rápido posible sobre estos problemas para garantizar a los webmasters que estamos al tanto y que el problema ocurrió en nuestro lado
Esos compromisos deberían hacer que las futuras situaciones similares futuras sean más transparentes para los webmasters en general.
Ponemos en práctica nuestras resoluciones: el caso de éxito de "nuevas URL no indexadas"
El 22 de mayo, probamos nuestra nueva estrategia de comunicaciones, ya que tuvimos otro problema. Esto es lo que sucedió: mientras se procesaban ciertas URL, nuestro sistema de administración de duplicados se quedó sin memoria después de una actualización planificada de la infraestructura, lo que provocó que todas las URL entrantes dejaran de procesarse.
A continuación, se muestra un cronograma de cómo pensábamos en las comunicaciones, en función de los 3 puntos destacados anteriormente:
-
Notamos el problema (alrededor de las 5:30 a.m., hora de California, el 22 de mayo).
Twitteamos sobre el problema en curso (alrededor de las 6:40 a.m., hora de California, el 22 de mayo).
Twitteamos sobre la resolución (alrededor de las 10 p.m., hora de California, el 22 de mayo). - Evaluamos la actualización de la página "Anomalías de datos" en el Centro de ayuda, pero decidimos no hacerlo, ya que no esperamos ningún impacto a largo plazo para la mayoría de los datos de Search Console de los webmasters en el futuro.
- La confusión que generó este problema para muchos confirmó nuestras conclusiones anteriores de que necesitamos una manera de informar con mayor claridad en Search Console que podría haber una interrupción en uno de nuestros sistemas que tal vez afecte a los webmasters. Esa solución podría tardar más en implementarse. Hablaremos sobre este tema en el futuro, a medida que tengamos más noticias.
La semana pasada, tuvimos otro problema de indexación. Al igual que el 22 de mayo, publicamos un tweet para informar a todos que había un problema, que estábamos trabajando para solucionarlo y cuándo se resolvió.
Cómo realizar la depuración y comunicarse con nosotros
Esperamos que esta publicación aclare tus dudas sobre cómo nuestros sistemas son complejos y, en ocasiones, pueden fallar, además de ayudarte a comprender cómo nos comunicamos sobre estas cuestiones. Sin embargo, si bien esta publicación se centra en una ruptura generalizada de nuestros sistemas, es importante tener en cuenta que la mayoría de los problemas de indexación de sitios web se deben a la configuración de un sitio web individual, lo que puede dificultar la indexación correcta de ese sitio por parte de la Búsqueda de Google. En esos casos, todos los webmasters pueden depurar problemas con Search Console y nuestro Centro de ayuda. Luego, si piensas que un problema no proviene de tu sitio o no sabes cómo resolverlo, comunícate con nosotros y nuestra comunidad; todos los comentarios de los usuarios son bienvenidos. Estos son los canales para indicarnos un problema:
- Consulta nuestra Comunidad de webmasters, ya que tal vez otros webmasters hayan destacado un problema que también afecta tu sitio.
- En persona: nos encanta mantenernos conectados, así que ven a conversar con nosotros en los eventos.
- Dentro de nuestros productos: la herramienta de comentarios de Search Console es muy útil para nuestros equipos.
- Búscanos en Twitter y YouTube.