Rastreadores de la web

¿Qué es un rastreador de la web y cómo funciona?

¿Es un software de tipo 'agente móvil'?Esta es una pregunta complementaria a Google es capaz de arrastrarse e índice de la web lo suficientemente rápido para mantenerse al día con los principales sitios como Flickr o Twitter?.Un rastreador web recupe . . .

¿Cuál es la mejor manera automatizada a un sitio web?

Hay un sitio con una carpeta que me gustaría rastrear para ver qué archivos .htm están en él, como ejemplo.com/folder/1.htm ejemplo.com/folder/2.htm y así sucesivamente. Objetivo es alertar cuando una dirección URL determinada ya no devuelve un error . . .

¿Google crawl JavaScript sitios todavía?

Fue hablan los grandes principios de este año pero no tengo cabeza nada después de eso.Han sido capaces de hacer esa fot mucho tiempo, mucho antes de que anunció a principios de este año.Han sido durante algún tiempo. Por análisis de JavaScript en pá . . .