Existe-t-il un moteur de recherche comprenant un bot d'indexation qui peut être utilisé pour constituer un catalogue spécial en fournissant au bot certaines propriétés?

Question

Notre application (C # / .NET) nécessite beaucoup de requêtes. La politique de Google 50 000 par jour ne suffit pas. Nous avons besoin de quelque chose qui explore les sites Web selon des règles spécifiques (par exemple, des domaines de pays) et rassemble des URL, des textes, des mots-clés, le nom de sites Web et crée notre propre catalogue interne afin de ne pas nous limiter à un moteur de recherche externe massif. comme Google ou Yahoo.

Existe-t-il une solution libre open source que nous pourrions utiliser pour l’installer sur notre serveur?

Inutile de réinventer la roue.

Answer 1

DataparkSearch est peut-être celui dont vous avez besoin. Ou consultez cette liste d'autres moteurs de recherche Open Source.