Crawler
“Crawler” es un pequeño software o programa que generalmente utilizan los buscadores – Google, por ejemplo – y que recorre toda la estructura de un sitio web en Internet de forma automática y sistemática. Su misión es descargar cada una de estas páginas a un ordenador local y procesarlas.