Error 502 en SCREAMING FROG

No es la primera vez que al rastrear o realizar el crawling de una web con Screaming Frog aparece un error 502 bad gateway como este:

Cuando esto aparece lo normal es que te preocupes de ver si hay un problema de indexación, con lo que  revisas los headers, lo que Google tiene indexado con el comando site, etc. Las causas pueden ser varias, las mas habituales por culpa de un firewall desde el servidor para evitar scrapeos o un bloqueo de spiders específicos. 

Lo normal es revisar también la configuraación del archivo robots.txt

Error 502 – Bad Gateway

Los errores 5xx son errores de servidor.

En la mayoría de los casos no tiene porque estar el servidor caído. Este tipo de error significa que dos servidores no se comunican de la forma correcta pra el intercambio de información.  Esto ocurre cuando un equipo se quiere conectar con otro servidor que está por encima a nivel de jerarquía. Cuando nos da el error 502 Bad Gateway es porque el server de mayor nivel no responde a la petición. Esto se produce cuando uno de los servidores no está correctamente configurado o programado. Lo normal sería contactar con el servicio técnico del servidor para que lo solucionen.

¿Como solucionar el error 502 bad gateway en Screaming Frog para poder realizar el rastreo?

Para poder continuar con el crawleo hay una solución en Screaming Frog y es tán facil como cambiar el user agent y poner el spider de Google para poder rastrear la web. 

¿Como configurar o cambiar el user agent en Screaming Frog?

Es tan sencillo como ir al menú de “configuración” de Screaming Frog, luego clicar en user agent

Cambiar el que sale por defecto en la primera pestaña “Preset User Agents”

y cambiar por el Google bot Regular.

 

Y voilá

Espero que sirva de ayuda.

0 Comentarios
Escribe un comentario

Uso de cookies

Utilizamos cookies propias y de terceros para mejorar nuestros servicios y mostrarle publicidad relacionada con sus preferencias mediante el análisis de sus hábitos de navegación. Si continúa navegando, consideramos que acepta su uso. Puede cambiar la configuración u obtener más información aquí

ACEPTAR
Aviso de cookies