Crawl Budget. ¿Qué es y cómo optimizarlo en nuestra web?

Existe un proceso bastante complicado desde que publicamos una página web, hasta que empezamos a recibir tráfico orgánico. El crawl budget solo repercute en una pequeña parte de este proceso tan complejo como es el rastreo de páginas. Antes de hablar sobre este rastreo web, tenemos que tener en cuenta varias cosas:

Google tiene un límite para no entorpecer la experiencia de usuario, pues si estuviera constantemente rastreando un web esta se podría ralentizar, si esto ocurre ignora dicha web y se va a otro sitio. Por otro lado, está el tema de la demanda para nuestras páginas, que si no resuelven bien las necesidades de nuestros visitantes, Google nos dará menos crawl budget para estar en nuestra web. Por último, si hacemos las cosas bien, cada vez tendremos mas crawl budget y Google entenderá que nuestra página es de fiar.

¿Qué es el crawl budget?

La definición es muy simple, es el número de páginas que el bot de Google rastrea cada vez que entra en nuestra web en un período de tiempo. Esto muy importante porque si Google no rastrea nuestra web, esta no se indexará. Por lo que no nos traerá el tráfico que deseamos y tampoco nos dará ventas. En grandes proyectos donde tenemos un crawl budget concreto y una web muy grande, si estos no están conectados por la escasez de recursos para que Google rastree toda nuestra web, será muy negativo para nuestro desarrollo. Así pues, es necesario optimizar todo correctamente para que el rastreador web llegue a todas las páginas de la plataforma.

Cuándo es aconsejable trabajarlo

En proyectos de menor escala, como puede ser una web corporativa con pocas urls, no es necesario trabajar el crawl budget. Google tiene los recursos necesarios para procesar todas nuestras páginas e indexarlas sin problema. Para proyectos grandes con miles de urls y/o proyecto con urls dinámicas o con parámetros avanzados, si es necesario trabajarlo.

indexación google

Cuál es nuestro crawl budget

Para saber nuestro crawl budget, basta con entrar a Google Search Console y acceder al informe de las estadísticas del rastreo. Una vez hagamos clic, nos redirigirá a la interfaz clásica de la Search Console y nos aparecerá un informe.

Los gráficos sirven para ver la tendencia de las páginas rastreadas al día, los Kilobytes descargados al día y el tiempo que ha dedicado Google para realizarlo. También, veremos la media, el punto álgido de rastreo y el punto leve. Para llevarlo a la práctica, tendremos que tener claro cuantas páginas tiene nuestra web y cuantas páginas se rastrean cada día. Hay que recalcar que una bajada o una subida no implica que tengamos mas o menos crawl budget, ya que hay muchos aspectos de nuestros proyectos que pueden afectar a esta gráfica.

Cómo estudiar el rastreo web

Ahora que ya conocemos mejor como se realiza el rastreo web, necesitamos ponerlo en contexto y conocer si está correcto o no. Hay muchas herramientas para realizarlo, algunas mas sencillas como screaming frog o botify, donde incorporamos los datos a las herramientas para tener unos informes preconfigurados. Con estos servicios es suficiente para empezar en el análisis de logs.

Como aumentar el crawl budget

Una vez tengamos todos los pasos estudiados y listos para incluirlos en nuestro proyecto, debemos de pensar en como mejorarlo y hacerlo mas eficiente. Un asunto importante es la velocidad de carga, ya que cuanto mas rápido cargue nuestra web, mas la valorará Google cuando esté rastreando nuestras páginas. Por otro lado, el archivo de robots.txt debe estar optimizado, al igual que el sitemap.xml de nuestro sitio. También es importante tener optimizadas algunas etiquetas canónicas para no equivocar a Google. Otro aspecto importante sería tener bien gestionadas las meta robots y que no haya páginas bloqueadas. Otro punto muy importante son las cadenas de redirecciones, asegurándonos de que todo el enlazado interno está correcto.

estructura web

La arquitectura web también es primordial, será importante tener muy claras cuáles serán las url y por tanto, las palabras clave que más nos interesa posicionar. Por otro lado, debemos evitar el contenido duplicado que generan páginas sin aportar nada para Google. A nivel de robots y enlazado interno, debemos hacer un buen trabajo y no indexar aquellas páginas que no tenga relevancia. Uno de los puntos mas importantes es la autoridad del site, necesitamos obtener enlaces externos y actualizar en la medida de los posible el contenido para que Google compruebe que nuestro proyecto está vivo y tiene una autoridad en su sector. Como siempre lo que más le importa al buscador es que aportemos contenido de calidad. Si otras webs o las redes sociales enlazan a nuestro sitio será positivo porque será una prueba para Google de que nuestro contenido interesa a las personas.

Conclusiones

Optimizar el crawl budget es una acción que no todo el mundo tiene en cuenta a nivel de SEO técnico. Como habíamos citado anteriormente, no es necesario tenerlo en cuenta si nuestro portal web no contiene mas de 100 o muchas mas urls. Además, existen muchas alternativas de rastreo donde no tenemos que invertir mucho tiempo ni presupuesto para sacar adelante el posicionamiento del negocio que estemos promocionando a través de un sitio web.

Si cumplimos los requisitos necesarios y queremos llevar a cabo una realización correcta de esta tarea, debemos hacer un estudio muy a fondo de nuestros logs para analizarlos y mejorar el crawl budget. Pero como decimos anteriormente, la mayoría de las webs no necesitan usar este tipo de rastreo y suele generar bastante confusión con respecto a la mejora del traspaso de popularidad entre urls mucho mas interesantes, que es realmente lo que solemos hacer. Tanto el crawl budget, como el traspaso de popularidad son conceptos diferentes que tienen algunas cosas en común a la hora del trabajo donde hay una línea muy fina que los separa y por eso se confunden. Así que a no ser que tengamos una web muy grande, no merece la pena complicarse con todos los pasos que se deben dar para realizar un estudio profundo usando el rastreador crawl budget, pero aún así es interesante saber en que consiste.

Dejar un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *