Muestra de rastreador web basado en .Net

Question

Estoy usando VSTS 2008 + C # + .Net 3.5. Quiero encontrar una herramienta (código abierto) que rastree todas las páginas web de un sitio web, y para cualquier otra página de dominio vinculada por este sitio web, quiero omitir para rastrearlas (solo necesito una página para este dominio específico solamente). Para la página web rastreada, quiero almacenarlos en el directorio de archivos local.

¿Alguna muestra o herramienta de código abierto lista para usar?

Answer 1

Arachnode.net podría ser lo que está buscando.

Answer 2

Soy el autor de AN.

AN indexa todos los idiomas de forma predeterminada. Nada que configurar.

• Mike