.Net basierte Web-Crawler-Probe

Question

Ich bin mit VSTS 2008 + c # + .NET 3.5. Ich möchte ein Werkzeug (Open Source) finden, die alle Web-Seiten für eine Website kriecht, und für alle anderen Domain-Seiten, die von dieser Website verknüpft ist, ich möchte, dass sie überspringen zu kriechen (Ich brauche nur Seite für diese bestimmte Domain nur). Für gekrochen Web-Seite, möchte ich sie in das lokale Dateiverzeichnis speichern.

Jede Proben oder wie Open-Source-Tool verwenden?

Answer 1

Arachnode.net sein könnte, was Sie suchen.

Answer 2

Ich bin der Autor des AN.

AN Indizes standardmäßig alle Sprachen. Nichts zu konfigurieren.

• Mike