Qu'est-ce qu'un bon outil Web Crawler? [Fermé]

Question

Je dois indexer de nombreuses pages Web. Quels sont les bons utilitaires webcrawler? Je préfère de préférence quelque chose avec lequel .NET peut parler, mais ce n’est pas un obstacle.

Ce dont j'ai vraiment besoin, c’est de quelque chose que je puisse donner à l’URL du site & amp; il suivra chaque lien et stockera le contenu pour l'indexation.

Answer 1

HTTrack - http://www.httrack.com/ - est un très bon copieur de site Web. . Ça marche plutôt bien. L'utilise depuis longtemps.

Nutch est un robot d'indexation Web (le type de programme que vous recherchez): http: / /lucene.apache.org/nutch/ - qui utilise un utilitaire de recherche de premier ordre, lucene.

Answer 2

Crawler4j est un robot d'exploration Java open source qui fournit une interface simple pour l'analyse du Web. Vous pouvez configurer un robot Web multi-thread en 5 minutes.

Vous pouvez définir votre propre filtre pour visiter les pages ou non (URL) et définir une opération pour chaque page analysée en fonction de votre logique.

Quelques raisons de choisir crawler4j;

1. Structure multithread,
2. Vous pouvez définir la profondeur à explorer,
3. Il est basé sur Java et open source,
4. Contrôle des liens redondants (urls),
5. Vous pouvez définir le nombre de pages à explorer,
6. Vous pouvez définir la taille de la page à analyser,
7. documentation suffisante

Answer 3

Searcharoo.NET contient un spider qui analyse et indexe le contenu, ainsi qu'un moteur de recherche pour son utilisation. Vous devriez pouvoir vous débrouiller dans le code Searcharoo.Indexer.EXE pour capturer le contenu téléchargé et ajouter votre propre code personnalisé à partir de là ...

Il est très basique (tout le code source est inclus et expliqué dans six articles CodeProject, dont le plus récent est Searcharoo v6 ): l'araignée suit les liens, les images, les images, obéit aux directives ROBOTS, analyse certains types de fichiers non HTML. Il est destiné à des sites Web uniques (et non à l'ensemble du Web).

Nutch / Lucene est presque certainement une solution plus robuste / de qualité commerciale - mais je n’ai pas regardé leur code. Vous ne savez pas exactement ce que vous souhaitez accomplir, mais avez-vous également vu Microsoft Search Server Express ?

Avertissement: je suis l'auteur de Searcharoo; il suffit de l'offrir ici en option.

Answer 4

Sphider est très bon. C'est PHP, mais ça pourrait être utile.

Answer 5

J'utilise le logiciel de Web Scraping de Mozenda . Vous pourriez facilement le faire explorer tous les liens et saisir toutes les informations dont vous avez besoin et c'est un excellent logiciel pour l'argent.

Answer 6

Je ne l'ai pas encore utilisé, mais cela semble intéressant. L'auteur l'a écrit à partir de zéro et a posté comment il a fait. Le code correspondant est également disponible en téléchargement.