Crawling

El Crawling es un software o script automatizado que inspecciona sistemáticamente las palabras clave, el tipo de contenido y los enlaces de un sitio web y devuelve información a los motores de búsqueda.

Los motores de búsqueda utilizan un rastreador, también conocido como bots, indexadores automáticos y arañas, para recopilar toda la información necesaria para indexar automáticamente las páginas de la web. Además, también ayudan a validar códigos HTML y verificar sitios en Internet.

El primer paso que da una araña cuando se trata de su sitio web es buscar un archivo llamado “robots.txt”. Este archivo es de fundamental importancia, porque contiene todas las instrucciones para el bot; qué partes del sitio web indexar y cuáles ignorar.

Tomemos el motor de búsqueda de Google como ejemplo. El bot analiza cada una de las páginas indexadas en su base de datos y recupera estas páginas en los servidores de Google. El rastreador web sigue todos los hipervínculos en sitios web y también visita otras páginas web.

Cuando le preguntamos al buscador, por ejemplo, un “curso de social media marketing”, tendremos como resultado todas las páginas web que contienen la palabra clave escrita. Los indexadores automáticos están programados para escanear constantemente la Web para que los resultados generados estén actualizados.

Los rastreadores deben saber, ante todo, que su sitio web existe de tal manera que puedan acercarse a echar un vistazo. Por lo tanto, se requiere un punto de entrada para escanear.

Una vez que un rastreador llega a tu sitio web, comienza a mapear todos sus elementos; desde el contenido hasta los enlaces entrantes y salientes, y así sucesivamente.