Esiste un motore di ricerca che include un bot di indicizzazione che può essere utilizzato per creare un catalogo speciale alimentando il bot con determinate proprietà?

Question

La nostra applicazione (C # /. NET) necessita di molte query per la ricerca. Le 50.000 norme di Google al giorno non sono sufficienti. Abbiamo bisogno di qualcosa che esegua la scansione dei siti Web Internet in base a regole specifiche da noi stabilite (per i domini di paesi es.) E che raccolga URL, testi, parole chiave, nome dei siti Web e crei il nostro catalogo interno in modo da non essere limitati a nessun enorme motore di ricerca esterno come Google o Yahoo.

Esiste una soluzione open source gratuita che potremmo utilizzare per installarla sul nostro server?

Non ha senso reinventare la ruota.

Answer 1

DataparkSearch potrebbe essere quello di cui hai bisogno. Oppure consulta questo elenco di altri motori di ricerca open source.