Análisis de Logs con SEO Log File Analyser | Adrenalina

Análisis de Logs con SEO Log File Analyser

Publicado Por | 25 noviembre , 2016 | Blog Adrenalina, SEO, SEO Técnico | No Comments
Analisis de logs seo log analyser

¿Qué te parecería poder destripar cómo o con qué frecuencia pasan realmente los bots de rastreo por una página web? O, más en concreto, ¿te gustaría saber cuáles son para estos bots las páginas más importantes? En SEO, todo es posible: gracias a la herramienta Screaming Frog SEO Log File Analyser.

La herramienta es un complemento de los mismos desarrolladores del Screaming Frog y va un paso más allá en cuanto al estudio técnico de un proyecto SEO. Con él, podemos conocer datos más detallados sobre el rastreo y bots que llegan a nuestra web, de forma que podamos mejorar la estructura o la importancia de cada página dentro de nuestro sitio.

Si con Screaming Frog podíamos descubrir cuáles eran los enlaces rotos internos, o con Search Console saber cuáles son los enlaces rotos que rastrea Google, gracias a Log Analyser tendremos el control absoluto de todo tipo de movimientos que acaben en nuestro proyecto web. De esta forma, tendremos una visión mucho más global desde un punto de vista técnico.

¿Qué es un Log?

Comencemos por lo principal, ¿sabes lo que es un Log? En el caso de una web, se trata de un registro que se deja cada vez que se hace una petición del servidor (de lectura) hacia nuestra web. Para tener un control de todo lo que ocurre en la web, se suelen acumular todos los Logs en archivos específicos, que luego se pueden revisar. Un uso habitual es para poder analizar los errores causados en un sitio o herramienta específica y así poder determinar la solución más efectiva. En términos generales, este tipo de archivos se caracterizan por ser como una huella en lo que al servidor de nuestra página se refiere. Se trataría de un registro y almacenamiento de toda la actividad del servidor de nuestra web.

Con él, podemos leer todo tipo de informaciones, pero nos interesa sobretodo las referentes al paso de bots que llegan a nuestra página web: tanto su frecuencia de paso, como la IP, el user agent o el momento exacto en el que se produjo.

Ejemlo registro de log de una web

Los datos que se recogen de un archivo Log son los siguientes:

  • IP
  • Fecha y hora
  • Método de petición: (si es tipo GET o POST)
  • URL por la que ha pasado
  • Versión del protocolo (normalmente HTTP/1.1)
  • Status code: respuesta que da el servidor a la petición realizada. En algunos casos, tal y como veremos con Log Analyser, este tipo de respuestas pueden correctas (200), de redirección 3xx o de errores 4xxx, entre otras
  • Número de datos enviados
  • URL del referer (en caso de existir)(puede ser dentro de la misma web)
  • User Agent: origen del solicitante (en caso de los Bots, puede ser de Googlebot, bingbot…)

La importancia de los Logs para el SEO

Como imaginarás, los archivos Log desvelan información de lo más interesante para un proyecto de posicionamiento web: podemos leer el comportamiento que presentan los bots cuando acceden a nuestro sitio.

De la misma forma que podemos leer cómo se mueven los usuarios que llegan a nuestra web, cuánto tiempo están, desde qué IP se conectan o qué páginas visitan con más recurrencia, también lo podemos saber sobre un bot como el de Google o Bing cuando rastrea nuestra web.

Gracias a los archivos Log, extraemos un reporte exacto de aquello que han leído en nuestra web o como lo han leído.

Si recogemos, de este modo, toda la información, podremos responder a las siguientes preguntas de cara a nuestro proyecto SEO:

  • ¿Cuáles son las páginas más importantes para los bots?
  • ¿Qué frecuencia de rastreo tienen?
  • ¿Están posicionadas y realmente reciben tráfico de los buscadores?

Gracias a los Log, encontraremos posibles fallos en la estructura o lectura de nuestra web. De manera que, si los buscadores están leyendo de forma continuada páginas que para nosotros, en principio, no eran importantes, querrá decir que estamos enviando la información equivocada a dichos crawl.

A diferencia de herramientas como Google Analytics, que revisa el comportamiento de los usuarios o del propio Screaming Frog, que analiza todas las URLs de nuestro sitio. Con el SEO Log File Analyser, podremos llegar a un nivel superior y ver cómo rastrean los bots nuestro sitio.

¿Para qué sirve Screaming Frog SEO Log File Analyser?

La cantidad de archivos Log que se generan durante una semana es impredecible y, por lo tanto, imposible de abastecer manualmente. He aquí la importancia de una herramienta que nos solucionará y resumirá los aspectos más importantes del análisis de Logs: Screaming Frog SEO Log File Analyser.

Con Log Analyser podremos saber:

  • nº de veces que un bot ha pasado por nuestra web en un espacio de tiempo determinado.  
  • Localizar enlaces rotos y errores.
  • Códigos de respuesta (nos dará los propios de Google)
  • Cómo han navegado los crawlers.
  • Podemos intentar averiguar por qué está pasando por una URL determinada con mucha frecuencia junto a las otras herramientas
  • Frecuencia de rastreo de los crawlers (nº de Events)
  • IPs por las que están entrando , además de los bytes
  • Quiénes son los User Agent: Google, Bing, Yandex, Bing Mobile, etc.

De esta forma, cuando hayamos extraído dicha información, podremos aplicarlo a mejorar una estrategia SEO desde la perspectiva de:

  • Detección de páginas no rastreadas: descubrir por qué una página no está siendo tomada en consideración por los buscadores, cuando en nuestro proyecto pueda resultar primordial para su correcto desarrollo.
  • Revisión de redirecciones: comprobar si existe un buen funcionamiento de las redirecciones en cuanto a la lectura que hacen los crawls de ellas.
  • Identificación de problemas de rendimiento de una página.
  • Combinación de los datos junto a Screaming Frog o Search Console. De tal forma que si una misma URL presenta un comportamiento diferente al de Scremaing Frog, tendremos que analizar cuál es la posible causa y si se puede mejorar. Por ejemplo, puede ser que tengamos una página que se esté indexando correctamente (código 200) y  que en el SEO Log File Analyser nos aparezca de vez en cuando con un error 500 o 404. Por lo tanto deberíamos investigar si esta URL está siendo bloqueada por algún elemento, en función del Bot que esté pasando o si es un error puntual de nuestro servidor, que podamos mejorar de alguna forma.

Cómo ver los datos más relevantes para el análisis de Logs

Vamos a analizar las partes principales de esta herramienta de análisis de Logs:

Pestaña Overview

Screamin Frog SEO Log File Analyser

  1. Filtro por tipo de Bot
  2. Periodo de tiempo a rastrear
  3. Resumen puntos más importantes de los Logs
  4. Número de eventos totales en función del tipo de Bot durante el periodo establecido
  5. Tipo de estado encontrado (ya sea tipo 1xx, 2xx, 3xx, 4xx o 5xx) durante el periodo establecido
  6. URLs rastreadas en función del tipo del tipo de Bot durante el periodo establecido

Pestaña URLs

Screamin Frog SEO Log File Analyser 2

  1. Filtro por tipo de Bot
  2. Periodo de tiempo a rastrear
  3. URL de la web que está analizando
  4. Tipo de estado encontrado (ya sea tipo 1xx, 2xx, 3xx, 4xx o 5xx)
  5. Tamaño de la transferencia de datos
  6. Total de veces por Bot

Pestaña Responses Code

Screamin Frog SEO Log File Analyser 3

1- Filtro por tipo de Bot
2- Periodo de tiempo a rastrear
3- URL de la web que está analizando
4- Número de veces que se ha pasado para cada URL
5- Tipo de estado encontrado (ya sea tipo 1xx, 2xx, 3xx, 4xx o 5xx)

Todos estos datos los podemos exportar para analizarlos después en Excel (genera un archivo .csv) y compararlo con los resultados de otras herramientas o para completar la información de cada URL.

Otras funciones que podemos hacer con el programa es analizar las IP que nos llegan, ya que a veces hay Bots que se hacen pasar por Googlebot o binbot entre otros, y resulta que en realidad no lo son, ya que usan el mismo User Agent. Gracias al análisis de dichas IP podremos determinar si bloquear las fraudulentas o si añadir algún plugin de seguridad específico que permita bloquear su acceso.

En otro post analizaremos con más detalle los usos que le podemos dar a esta herramienta y al análisis de Logs en general.

Autor: Gerard Juan

Estudiamos y analizamos su negocio en profundidad, definimos objetivos y planteamos la estrategia de marketing más adecuada centrándonos en conseguir cada uno de los objetivos propuestos. Solicita Presupuesto Ahora

Uso de cookies

En este sitio web utilizamos cookies propias y de terceros para mejorar nuestros servicios, para que usted tenga la mejor experiencia de usuario y analizar su visita. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información.