jueves, 12 de noviembre de 2009
Google usa muchas fuentes diferentes para encontrar páginas web nuevas, como enlaces que encontramos en la web o
URL que nos envían
. Queremos descubrir esas nuevas páginas lo más rápidamente posible, para que nuestros usuarios puedan encontrar contenido nuevo en los resultados de búsqueda poco tiempo después de que éste se haya generado. Recientemente estrenamos una función que utiliza feeds de RSS/Atom para descubrir nuevas páginas web.
Los feeds de RSS/Atom han sido muy populares estos últimos años como mecanismo de publicación de contenido. Permiten a los lectores a comprobar si hay nuevo contenido publicado. La utilización de feeds para descubrimiento de contenido nuevo nos permite obtener estas nuevas páginas e indexarlas de una forma más rápida que con los métodos de rastreo tradicionales. Podemos usar muchas fuentes para acceder a las actualizaciones de feeds como Reader, servicios de notificación o rastreos de feeds. Además, en el futuro también podríamos explorar mecanismos como
PubSubHubbub
con el fin de identificar elementos actualizados.
Para poder utilizar los feeds de RSS/Atom para descubrir nuevo contenido, es importante que se rastreen los archivos (no debe estar desactivada la función de rastreo en el archivo
robots.txt
). Para saber si Googlebot puede rastrear tus feeds y encontrar tus páginas de la manera más rápida posible, prueba las URL de tu feed con la
herramienta de prueba de robots.txt en las Herramientas para webmasters de Google
.