Quinta-feira, 17 de setembro de 2020
A partir de novembro de 2020, o Googlebot começará a rastrear alguns sites por HTTP/2.
Desde que os principais navegadores começaram a oferecer compatibilidade com a próxima grande revisão do HTTP, o HTTP/2, ou h2, os profissionais da Web nos perguntaram se o Googlebot pode rastrear a versão mais moderna e atualizada do protocolo.
A partir de meados de novembro de 2020, o Googlebot será compatível com o rastreamento por HTTP/2 em alguns sites.
O que é HTTP/2
Como dissemos, é a próxima versão principal do HTTP, o protocolo que a Internet usa principalmente para transferir dados. O HTTP/2 é muito mais robusto, eficiente e rápido que a versão anterior, devido à arquitetura e aos recursos implementados para clientes (por exemplo, seu navegador) e servidores. Se quiser saber mais sobre isso, leia o artigo sobre HTTP/2.
Por que estamos fazendo essa mudança?
Em geral, esperamos que essa mudança torne o rastreamento mais eficiente em termos de uso de recursos do servidor. Com o h2, o Googlebot consegue abrir uma única conexão TCP com o servidor e transferir vários arquivos por ela de maneira paralela, em vez de exigir várias conexões. Quanto menos conexões estiverem abertas, menos recursos o servidor e o Googlebot precisarão usar para rastrear.
Como funciona
Na primeira fase, rastrearemos um pequeno número de sites por h2 e faremos uma expansão gradual para mais sites que podem se beneficiar dos recursos inicialmente compatíveis, como a multiplexação de solicitações.
O Googlebot decide qual site rastrear por h2 com base na compatibilidade do site com esse protocolo e nos benefícios dele para o site e para o Googlebot. Se o servidor for compatível com h2 e o Googlebot já rastrear muito conteúdo do site, talvez você já esteja qualificado para o upgrade de conexão e não seja necessário fazer nada.
Se o servidor só for compatível com HTTP/1.1, não tem problema. Não há desvantagens explícitas no rastreamento por esse protocolo. O rastreamento será igual em termos de qualidade e quantidade.
Como desativar
Nossos testes preliminares não mostraram problemas nem impactos negativos na indexação, mas entendemos caso você prefira desativar o rastreamento por HTTP/2 no site por algum motivo. Para fazer isso, basta instruir o servidor a responder com um código de status HTTP 421 quando o Googlebot tentar rastrear o site por h2. Se isso não for viável no momento, você pode enviar uma mensagem para a equipe do Googlebot. No entanto, essa solução é temporária.
Caso você tenha mais dúvidas sobre o Googlebot e o HTTP/2, confira as possíveis perguntas que você pode ter. Se você não encontrar sua dúvida, entre em contato conosco pelo Twitter e pelos Fóruns de Ajuda.
Perguntas que você pode ter
Por que o upgrade do Googlebot será feito agora?
O software que o Googlebot usa para rastrear por h2 amadureceu o suficiente para ser usado em produção.
Preciso fazer upgrade do meu servidor assim que possível?
Você que escolhe. No entanto, essa mudança se aplica somente a sites compatíveis com h2 e que se beneficiarão claramente do upgrade. Se não houver um benefício claro para o rastreamento por h2, o Googlebot continuará a rastrear por h1.
Como testar se meu site é compatível com h2?
O Cloudflare fez uma postagem do blog com vários métodos para testar se um site é compatível com h2. Confira!
Como fazer upgrade do meu site para h2?
Depende muito do seu servidor. Recomendamos que você fale com o administrador do servidor ou o provedor de hospedagem.
Como convencer o Googlebot a usar o h2 no meu site?
Isso não é possível. Se o site for compatível com h2, ele estará qualificado para o rastreamento por h2, mas apenas se isso for benéfico para o site e para o Googlebot. Caso a mudança não gere uma economia notável de recursos, por exemplo, continuaremos a rastrear o site por HTTP/1.1.
Por que o rastreamento por h2 não será usado em todos os sites compatíveis com esse protocolo?
Em nossas avaliações, encontramos pouco ou nenhum benefício em certos sites ao rastrear por h2 (por exemplo, aqueles com qps muito baixo). Por isso, decidimos mudar para o rastreamento por h2 somente quando há um benefício claro para o site. Continuaremos avaliando os ganhos de desempenho e poderemos mudar nossos critérios de migração no futuro.
Como saber se meu site está sendo rastreado por h2?
Quando um site se qualifica para o rastreamento por h2, os proprietários do site registrado no Search Console recebem uma mensagem informando que parte do tráfego de rastreamento poderá ser por h2. Também é possível verificar os registros do servidor, por exemplo, no arquivo access.log, se o site for executado no Apache.
O Googlebot é compatível com quais recursos do h2?
O Googlebot é compatível com a maioria dos recursos introduzidos pelo h2. Alguns recursos ainda estão sendo avaliados, como o push de servidor, que podem ser úteis para a renderização.
O Googlebot é compatível com HTTP/2 de texto simples (h2c)?
Não. Seu site precisa usar HTTPS e ser compatível com HTTP/2 para se qualificar para o rastreamento por HTTP/2. Isso é equivalente à maneira como os navegadores modernos lidam com ele.
O Googlebot usará a extensão ALPN para decidir qual versão do protocolo será usada no rastreamento?
A negociação de protocolo na camada do app (ALPN, na sigla em inglês) será usada somente em sites com rastreamento por h2 ativado, e o único protocolo aceito para respostas será o h2. Se o servidor responder durante o handshake de TLS com uma versão do protocolo diferente de h2, o Googlebot interromperá o processo e voltará depois por HTTP/1.1.
Como os diferentes recursos do h2 ajudam no rastreamento?
Veja alguns dos principais benefícios do h2:
- Multiplexação e simultaneidade: com menos conexões TCP abertas, menos recursos são gastos.
- Compactação de cabeçalho: os cabeçalhos HTTP com tamanho reduzido economizam recursos.
- Push de servidor: esse recurso está em fase de avaliação e ainda não está ativado. Embora possa ser útil para a renderização, não temos informações sobre ele no momento.
Para saber mais sobre recursos específicos do h2 e sobre a relação deles com o rastreamento, entre em contato pelo Twitter.
O Googlebot rastreará mais conteúdo ou mais rapidamente por h2?
A principal vantagem da h2 é a economia de recursos, tanto do servidor quanto do Googlebot. A escolha entre h1 ou h2 não afeta como o site é indexado nem o conteúdo rastreado.
Os sites rastreados por h2 terão algum benefício na classificação?
Não.