Segunda-feira, 21 de setembro de 2020
No ano passado, lançamos o analisador e reconhecedor de robots.txt, que usamos nos nossos sistemas de produção para código aberto. Desde então, pessoas criaram novas ferramentas com base nesses recursos, contribuíram para a biblioteca de código aberto (melhorando nossos próprios sistemas de produção) e lançaram versões em outras linguagens, como golang e rust, que facilitam a criação de novas ferramentas pelos desenvolvedores.
Com o fim da temporada de estágios no Google, queremos destacar dois novos lançamentos relacionados ao robots.txt que foram desenvolvidos por dois estagiários da equipe de código aberto da Pesquisa: Andreea Dutulescu e Ian Dolzhanskii.
Teste de especificação de robots.txt
Primeiro lançamos um framework de testes para desenvolvedores do analisador de robots.txt, criado por Andreea. O projeto oferece uma ferramenta de teste que pode validar se um analisador de robots.txt segue o protocolo de exclusão de robôs ou até que ponto. Atualmente, não há um método oficial e completo de avaliar a correção de um analisador. Por isso, Andreea desenvolveu uma ferramenta para criar analisadores de robots.txt que sigam o protocolo.
Analisador e reconhecedor de robots.txt em Java
Em segundo lugar, lançamos uma versão oficial em Java do analisador de robots.txt em C++, criada por Ian. Java é a terceira linguagem de programação mais usada no GitHub e também é muito utilizada no Google. Por isso, não é surpresa que essa versão tenha sido tão solicitada. O analisador é uma tradução um para um da versão em C++ no que diz respeito às funções e aos comportamentos. Além disso, a paridade dele foi testada com um grande conjunto de regras de robots.txt. Nossas equipes já estão planejando usar o analisador de robots.txt em Java nos sistemas de produção do Google, e esperamos que ele também seja útil para você.
Como sempre, agradecemos suas contribuições nesses projetos. Caso você tenha desenvolvido algum recurso com o analisador de robots.txt em C++ ou com estas novas versões, informe nossa equipe para que possamos ajudar você a divulgá-lo. Se você encontrou um bug, nos ajude a corrigi-lo. Registre um problema no GitHub ou contribua diretamente com uma solicitação de envio. Caso você tenha dúvidas ou comentários sobre esses projetos, entre em contato pelo Twitter.
Foi um grande prazer receber Andreea e Ian, e ficamos tristes com o fim do estágio deles. As contribuições que eles fizeram tornam a Internet um lugar melhor, e esperamos recebê-los novamente no Google no futuro.