¿Existe un motor de búsqueda que incluya un bot de indexación que pueda usarse para crear un catálogo especial al alimentar al bot con ciertas propiedades?

Question

Nuestra aplicación (C # / .NET) necesita muchas consultas para buscar. La política de 50,000 de Google por día no es suficiente. Necesitamos algo que rastree los sitios web de Internet mediante reglas específicas que establecemos (por ejemplo, dominios de países) y recopilemos URL, textos, palabras clave, nombre de sitios web y creamos nuestro propio catálogo interno para que no nos limitemos a ningún motor de búsqueda externo masivo. como Google o Yahoo.

¿Hay alguna solución gratuita de código abierto que podamos usar para instalarla en nuestro servidor?

No tiene sentido reinventar la rueda.

Answer 1

es posible que

DataparkSearch sea la que necesita. O revise esta lista de otros Motores de búsqueda de código abierto.