Exemple de robot d'indexation Web .Net

Question

J'utilise VSTS 2008 + C # + .Net 3.5. Je souhaite trouver un outil (open source) qui analyse toutes les pages Web d'un site Web. Pour toutes les pages de domaine liées par ce site Web, je souhaite éviter de les explorer (je n'ai besoin que d'une page pour ce domaine spécifique.) seulement). Pour les pages Web analysées, je souhaite les stocker dans un répertoire de fichiers local.

Avez-vous des exemples ou des outils open source prêts à être utilisés?

Answer 1

Arachnode.net pourrait être ce que vous recherchez.

Answer 2

Je suis l'auteur d'AN.

AN indexe toutes les langues par défaut. Rien à configurer.

• Mike