Si buscamos una palabra, por ejemplo “ordenadores”. En los resultados que nos ofrecerá el motor de búsqueda, aparecerán páginas que contengan esta palabra en alguna parte de su texto.

Si consideran que una web es importante para el usuario, tienden a registrarlas todas. Si no la consideran importante, solo almacenan una o mas páginas.

Cada cierto tiempo, los motores revisan las webs, para actualizar los contenidos de su base de datos, por lo que no es infrecuente, que los resultados de la búsqueda no estén actualizados.

Los spiders, tienen una colección de programas simples y potentes con diferentes cometidos. Se suelen dividir en tres partes. Los programas que exploran la red -spiders-. Los que construyen la base de datos. Y los que utiliza el usuario, el programa que explora la base de datos.

Si les pagamos nos dan un bonus que nos permitirá aparecer en las primeras páginas de resultados. Esta forma de publicidad, ahora mismo, es indicada de alguna forma. Los spiders se han visto obligados a este tipo de publicidad para poder seguir ofreciendo a los usuarios el servicio de forma gratuita.