Mejorar la indexación de un sitio web

Consejos para mejorar la indexación de tu sitio web

Publicado Por | 21 febrero , 2013 | Blog Adrenalina, Linkbuilding, SEO Técnico | 6 Comments
google galletas

Muchas personas confunden la indexación con el posicionamiento web. Aunque es verdad que los dos conceptos están fuertemente vinculados, el almacenamiento de distintas páginas en el catálogo (una especie de cache) de un motor de búsqueda (en este caso hablamos concretamente de Google) de por sí no premia ni penaliza su el ranking en las SERPS de las distintas keywords por las que compite.

El robot de Google rastrea diariamente desde un par de páginas hasta cientos de ellas para cada dominio.

Esta frecuencia dependerá principalmente de la cantidad de páginas publicadas y de la autoridad de sitio.

Antes que nada, es necesario que el robot tenga acceso y conozca cada una de las páginas que deseamos que indexe. Para ello, utilizamos el famoso sitemap.xml para indicar y listar todas nuestras páginas.

Además de esto el robot navegará de forma natural a través de todos los enlaces que encuentre en cada página. Y aquí comienzan los problemas.

Todas las páginas que no se especifique explícitamente que deseen que no se indexen, Google las solicitará y almacenará en su catalogo. Esto no quiere decir que cada una de ellas sea candidata a salir en algún resultado de búsqueda.

Como Google entiende que no queremos indexar (o desindexar) una página

Para indicarle a Google qué páginas quieres que el robot no indexe, básicamente hay dos maneras, utilizar una cabecera (dentro de html/head) meta/robots con el valor noindex:

<meta name="robots" content="noindex">

o añadir una linea en el archivo robots.txt con disallow: [url de la página], por ejemplo:

User-agent: *
Disallow: /buscador

Un header 301 a otra URL también da como resultado la desindexación de la URL original.

Problemas asociados a la etiqueta meta/noindex

La gran diferencia entre indicarle a Google el deseo de no indexar una página o desindexarla desde una etiqueta mate y desde robots.txt es que en el primer caso el robot de Google debe descargar la página y analizarla hasta de llegar a esa conclusión.

De esta manera, por un lado le estamos dando trabajo extra a Google y por otra estamos ocupando el espacio en su catalogo, que tarde o temprano si tiene un noindex esa entrada se eliminará, pero mientras dure le estamos quitando la posibilidad a otra página.

Además, si la página que tiene un meta/noindex sigue enlazada (he visto casos que están hasta en sitemap.xml) el robot no tendrá más remedio que entrar de vez en cuando para comprobarla. Otra cosa es que en ese enlace tenga un rel=”nofollow” pero eso sigue siendo más costoso que añadir la entrada correspondiente en robots.txt.

Google Webmastertools

Google Webmastertools

Páginas candidatas a denegar la indexación

Es recomendable que las páginas que sean pobres en cuanto a contenido o que este duplicado, no sean indexadas. Básicamente porque aunque se indexen Google no le estará dando valor y ocuparan espacio en el catalogo del dominio, el cual es limitado y dependerá de la autoridad que Google le dé al dominio.

Por ejemplo, en una tienda, el paginado de listados, sean productos o artículos, generalmente no tienen contenido y si lo tienen puedo apostar que es el mismo que la primera página, con lo cual, es otro patrón de página que en mi opinión no indexaría.

 Los resultados de las búsquedas internas también, aunque prestaría atención a ciertos resultados que pueden dar un buen ranking long-tail, pero eso es otra historia…

En Resumen

 Identifica las páginas que sean pobres en contenido o que no sean interesantes para los usuarios y añádelas en robots.txt.

El robots.txt es un archivo de texto, pero por ello no tiene por que ser manual, puedes utilizar algo de Rewrite de Apache combinado con PHP o Ruby para generarlo en caliente y poder utilizar criterios de negocio para denegar las páginas que desees.

Si utilizas disallow en robots.txt en vez de meta/noindex, verás como tus páginas se indexarán más rápido y el robots de Google no estará perdiendo el tiempo pidiendo páginas que luego no quieras que indexe. Sin tener en cuenta que a nivel servidor, servir una página tiene un coste asociado SIEMPRE.

Verás como la indexación crece tanto cualitativamente como cuantitativamente.

Espero comentarios, sugerencias, opiniones, y si os ha gustado alguna cerveza para extendernos en el tema… 😉 Si necesitáis un equipo experto en marketing online, SEO y desarrollar aplicaciones ipad, contacta con nosotros!

Autor: Pol Martinez

Desarrollador Web PHP y apasionado de las metodologías ágiles y los estándares web.

  • Gracias por el artículo, pero me quedó una duda, imagina que tengo un listado con una profundidad de 300 páginas, ¿es recomendable sólo indexar las 100 primeras por decirlo de alguna manera que todas? Gracias.

    • Pablo Martinez

      Supongo que cuando dices profundidad te refieres a paginado, ¿no?

      Dependerá del caso particular, pero valora el motivo por el cual te interesa indexar solo las primeras 100, o las primeras 10 o ninguna. Por ejemplo: ¿Cual es la diferencia en cuestión de contenido entre la pagina 5 y la 50?

      Saludos

      • Gracias por la respuesta. En definitiva que si el contenido es sobre la misma temática pues en principio mejor indexar las primeras que todas a la vez, ¿para que están tengan más fuerza?

        • Correcto Jonay, pero no es un tema de temático sino de contenido. Si la primera pagina el contenido de texto (por lo general la lista de producto tiene contenido pobre) es igual a las siguientes, ¿porque quieres indexarlas? No tendrán trascendencia en las SERPS, le estas dando trabajo extra a Google y por otro lado estas quitando oportunidad de indexación a otras paginas que igual te interesan más.
          Saludos

Estudiamos y analizamos su negocio en profundidad, definimos objetivos y planteamos la estrategia de marketing más adecuada centrándonos en conseguir cada uno de los objetivos propuestos. Solicita Presupuesto Ahora

Uso de cookies

En este sitio web utilizamos cookies propias y de terceros para mejorar nuestros servicios, para que usted tenga la mejor experiencia de usuario y analizar su visita. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información.