Cómo afectan los códigos de estado HTTP a los rastreadores de Google

En esta página se describe cómo afectan a la capacidad de Google para rastrear tu contenido web los diferentes códigos de estado HTTP. Explicamos los 20 códigos de estado que más veces ha detectado Google en la Web. No se incluye ninguna explicación de los códigos de estado que aparecen con menos frecuencia, como 418 (I'm a teapot).

Códigos de estado HTTP

Los códigos de estado HTTP los genera el servidor que aloja el sitio cuando responde a una solicitud de un cliente, como un navegador o un rastreador. Cada código de estado HTTP tiene un significado diferente, pero a menudo el resultado de la solicitud es el mismo. Por ejemplo, hay varios códigos de estado que indican la redirección, pero el resultado es el mismo.

Search Console genera mensajes de error de los códigos de estado del intervalo 4xx—5xx y de redirecciones fallidas (3xx). Si el servidor responde con un código de estado 2xx, es posible que el contenido recibido en la respuesta se tenga en cuenta en la indexación.

En la siguiente tabla se muestran los códigos de estado HTTP que más encuentra Google y una explicación de cómo Google gestiona cada uno de ellos.

Códigos de estado HTTP

2xx (success)

Google tiene en cuenta el contenido para procesarlo (por ejemplo, en el caso de la Búsqueda de Google, para indexarlo). Si el contenido sugiere un error para la Búsqueda de Google (por ejemplo, una página vacía o un mensaje de error), Search Console mostrará un soft 404 error.

200 (success)

Google transfiere lo que ha recibido al siguiente paso del proceso (que es específico del producto). En la Búsqueda de Google, el siguiente sistema es la canalización de indexación. Es posible que los sistemas de indexación indexen el contenido, pero este proceso no está garantizado.

201 (created)
202 (accepted)

Google espera el contenido durante un tiempo limitado y luego envía lo que ha recibido al siguiente paso de procesamiento (que es específico del producto). El tiempo de espera depende del user-agent. Por ejemplo, es posible que el robot de Google para smartphones tenga un tiempo de espera diferente al del robot de Google para imágenes.

204 (no content)

Google no ha podido recibir ningún contenido y, por lo tanto, no puede procesarlo.

3xx (redirection)

De forma predeterminada, los rastreadores de Google hacen hasta 10 saltos de redirección. Sin embargo, es posible que los rastreadores de productos específicos tengan límites diferentes. Por ejemplo, el robot de Google suele seguir 10 saltos de redirección al rastrear contenido web general, pero las herramientas de inspección de Google no siguen redirecciones.

Se ignora todo el contenido que Google recibe de la URL de redirección y, en su lugar, se procesa el contenido de la URL de destino final. En el caso de los archivos robots.txt, consulta cómo Google gestiona un robots.txt que devuelve un código de estado 3xx.

301 (moved permanently)

Google sigue la redirección, y los sistemas de Google la utilizan como un indicador importante de que la página de destino de la redirección debería procesarse.

302 (found)

De forma predeterminada, los rastreadores de Google siguen la redirección, y los sistemas de Google la utilizan como una señal débil de que se debe procesar el destino de la redirección. Otros productos pueden gestionar la redirección de forma diferente.

303 (see other)
304 (not modified)

Los rastreadores de Google indican al siguiente sistema de procesamiento que el contenido es el mismo que la última vez que se rastreó. En el caso de la Búsqueda de Google, los sistemas de indexación pueden volver a calcular los indicadores de la URL, pero el código de estado no influye en la indexación.

307 (temporary redirect) Es equivalente a 302.
308 (moved permanently) Es equivalente a 301.

4xx (client errors)

Google no usa el contenido de las URLs que devuelven códigos de estado 4xx. Si una URL se ha usado anteriormente, pero ahora devuelve el código de estado 4xx, los sistemas de Google dejarán de usarla con el tiempo. En el caso de la Búsqueda de Google, Google no indexa las URLs que devuelven un código de estado 4xx, y las URLs que ya están indexadas y devuelven un código de estado 4xx se retiran del índice.

Se ignora todo el contenido que Google recibe de las URLs que devuelven un código de estado 4xx.

400 (bad request)

Todos los errores 4xx, salvo 429, se tratan del mismo modo: los rastreadores de Google informan al siguiente sistema de procesamiento de que no existe el contenido.

En el caso de la Búsqueda de Google, el proceso de indexación quita la URL del índice si ya se había indexado previamente. No se procesan las páginas 404 encontradas recientemente. La frecuencia de rastreo disminuye gradualmente.

401 (unauthorized)
403 (forbidden)
404 (not found)
410 (gone)
411 (length required)
429 (too many requests)

Los rastreadores de Google tratan el código de estado 429 como un indicador de que el servidor está sobrecargado y lo consideran un error del servidor.

5xx (server errors)

Los errores del servidor 5xx y 429 piden a los rastreadores de Google que ralenticen temporalmente el rastreo. En la Búsqueda de Google, las URLs que ya están indexadas se conservan en el índice, pero se acaban retirando.

Se ignora todo el contenido que Google recibe de las URLs que devuelven un código de estado 5xx. En el caso de los archivos robots.txt, consulta cómo Google gestiona un robots.txt que devuelve un código de estado 5xx.

Una vez que el servidor empieza a responder con un código de estado 2xx, Google aumenta gradualmente la frecuencia de rastreo del sitio.

500 (internal server error)

Google reduce la frecuencia de rastreo del sitio. La disminución de la frecuencia de rastreo es proporcional al número de URLs que devuelve un error del servidor. En la Búsqueda de Google, los sistemas de indexación de Google retiran del índice las URLs que devuelven constantemente un error del servidor.

502 (bad gateway)
503 (service unavailable)