Crawler

Programa que participa en los mecanismos de búsquedas de Google para leer códigos y seguir enlaces. Actúa como un rastreador que va leyendo información de las páginas web, la comprime y la lleva al servidor.

Su finalidad es indexar la mayor cantidad de información para que luego el buscador de Google, ante la solicitud concreta de los usuarios, ubique las palabras clave más relevantes y muestre los resultados por orden de relevancia. Este pequeño programa es de vital importancia para los diferentes procesos de búsqueda y también se le conoce como araña, robot o rastreador.