Creo que todos sabemos lo que es un robot spider de un buscador. Es el programa que usan los buscadores para explorar todos los enlaces de cada website, siguiendo sus referencias y generando o actualizando un mapa de hiper-relaciones entre websites vinculadas. Una especie de telaraña digital, de ahí el apodo de spiders. Cada buscador tiene el suyo: Google tiene el GoogleBot, Yahoo! el Slurp, Microsoft desarrollo el MSNBot, etc.

Los spiders recorren cada página recabando información, a veces pueden hacerlo sin problemas y a veces no son capaces. ¿Cuando un spider no registra parte de tu web? Cuando utilizas contenidos generados mediante flash, mediante javascript o cualquier tecnología que impide al spider leerlo. Incluso elementos tan arcaicos como los combobox de los formularios pueden ser un problema para los spiders. Inciso: Google nunca descansa y ya está manos a la obra para intentar solventar estos problemas.

Se habla mucho de que hay que intentar escribir las páginas para facilitarles la lectura a los bots, aparte de evitar los elementos ya citados, hay otros consejos como por ejemplo utilizar <div>’s en lugar de <table>’s. Pero ¿Te has preguntado como visualiza un spider tu web? Webconfs ha desarrollado una herramienta que simula como se verían tus páginas a los ojos de un bot.

Spidered Text: el texto visualizado

Todo el texto de tu página que es capaz de ver. Los buscadores han avanzado tanto que son capaces de tomar todo ese téxto como parte del índice.

Spidered Links: links encontrados

Igual que con el texto, todos los enlaces que es capaz de visualizar y seguir.

Etiquetas Meta y Descripción, si las tienes

Si tras hacer la simulación ves que parte de tus enlaces no aparecen quizás es que estás utilizando elementos no amigables con los spiders. Ya es decisión tuya valorar si prefieres una correcta indexación o lo bonito que puedan quedar esos elementos en tus páginas.

Si te gustó este artículo suscríbete a mi RSS feed!