El presupuesto de rastreo es el número de URLs que el robot de Google puede y quiere rastrear de un determinado sitio web, por lo que afecta a la indexación de páginas web. Y ese número de URLs depende de la frecuencia de rastreo y de la demanda de rastreo.
El motivo de que exista el concepto de presupuesto de rastreo y que sea importante es que Google reconoce abiertamente que tiene un número finito de recursos y, por lo tanto, no puede indexar la prácticamente infinita cantidad de contenido que existe en Internet. Por ello, debe optimizar sus recursos y asegurarse de que lo que indexa es realmente relevante. Ese es un primer motivo de peso; el segundo, Google tiene que limitar la indexación en los sitios web porque su robot debe asegurarse de que sus peticiones no ralentizan a los sitios web, perjudicando la experiencia de los usuarios.
La frecuencia de rastreo representa el número de conexiones paralelas y simultáneas que utiliza el robot de Google para rastrear el sitio web, y también el tiempo de espera entre cada obtención de información. La demanda de rastreo depende de la popularidad de la URL y de la inactividad; es decir, que Google rastreará más las URL populares y también aquellas que parezcan inactivas en su índice, algo que no le gusta y por ello vuelve a chequear el contenido para comprobar.
Acciones para optimizar el presupuesto de rastreo
Dadas estas definiciones, ¿qué podemos hacer para optimizar el rastreo de nuestro sitio web y, por tanto, optimizar la indexación de sus páginas? En general, debemos asegurar que el sitio web carga rápido, está limpio, no ofrece spam ni tiene contenido pobre o duplicado. Es más fácil decirlo que llevarlo a cabo, por ejemplo:
- Navegación por facetas: este tipo de navegación por filtros, obligada en sitios grandes con miles de productos, puede suponer un reto importante para el presupuesto de rastreo. Cada combinación de filtros puede ser rastreada e indexada, haciendo que Google se concentre en URLS que no queremos que se indexen. Para evitar problemas de contenido pobre, muchos sitios especifican URLS canónicas y efectivamente, esto evita que se indexen los filtros, pero no que se rastreen. Es decir, que el presupuesto de rastreo puede verse limitado por el hecho de que el robot rastree miles de páginas sin valor, y podamos estar perdiendo la oportunidad de que rastree otras con más valor. Es preferible utilizar combinaciones de "no index" y "no follow" para este tipo de filtros. No existe una solución válida para todos los casos, depende de los filtros y la categorización de productos.
- Velocidad de carga: cuanto más rápido sea un sitio, mayor presupuesto de rastreo. Esta parte está clara: para el robot de Google, si un sitio es rápido significa que los servidores están en buen estado, y puede obtener más contenido con el mismo número de conexiones. En cambio, si hay muchos errores del tipo 5xx o con frecuencia se agota el tiempo de espera de las conexiones, significa lo contrario y el rastreo se ralentiza.
- Páginas href lang y redireccionamientos: como en el caso de las URL canónicas comentadas antes, una buena implementación de redirecciones o de href lang para versiones en idiomas distintos de un mismo contenido son una buena práctica SEO para evitar problemas de ranking, pero son prácticas que pueden afectar negativamente el presupuesto de rastreo, porque, una vez más, no estamos impidiendo su rastreo.
En resumen, es importante tener en cuenta el concepto de presupuesto de rastreo, porque las buenas prácticas SEO habituales para conseguir buenos rankings suelen estar basadas en favorecer la indexación, pero no nos interesa que todas las páginas se rastreen y se indexen.
De todas formas, también es importante indicar que es muchísimo más importante tener en cuenta el presupuesto de rastreo en el caso de sitios web grandes que en el caso de sitios web con contenido limitado. Si tu sitio web tiene unas pocas miles de URL no deberías preocuparte, ya que Google no tendrá problema alguno en indexar todas las páginas. Pero si hablamos de decenas de miles de páginas, ahí sí. Y ese volumen de páginas es propio de muchos sitios web, no se limita a grandes medios como las webs de periódicos, sino que cualquier tienda online mínimamente potente puede alcanzar ese volumen de páginas con facilidad.
