Существует ли поисковая система, включающая индексного бота, который можно использовать для создания специального каталога, снабжая бота определенными свойствами?

Question

Наше приложение (C # /. NET) требует много запросов для поиска. Политики Google в 50000 в день недостаточно. Нам нужно что-то, что могло бы сканировать интернет-сайты по определенным нами правилам (например, для доменов стран) и собирать URL-адреса, тексты, ключевые слова, названия веб-сайтов и создавать наш собственный внутренний каталог, чтобы мы не были ограничены какой-либо крупной внешней поисковой системой. как Google или Yahoo.

Есть ли какое-нибудь бесплатное решение с открытым исходным кодом, которое мы могли бы использовать для его установки на нашем сервере?

Нет смысла заново изобретать колесо.

Answer 1

DataparkSearch может быть тем, что вам нужно. Или просмотрите этот список других поисковых систем с открытым исходным кодом.