Существует ли поисковая система, включающая индексного бота, который можно использовать для создания специального каталога, снабжая бота определенными свойствами?
-
03-07-2019 - |
Вопрос
Наше приложение (C # /. NET) требует много запросов для поиска. Политики Google в 50000 в день недостаточно. Нам нужно что-то, что могло бы сканировать интернет-сайты по определенным нами правилам (например, для доменов стран) и собирать URL-адреса, тексты, ключевые слова, названия веб-сайтов и создавать наш собственный внутренний каталог, чтобы мы не были ограничены какой-либо крупной внешней поисковой системой. как Google или Yahoo.
Есть ли какое-нибудь бесплатное решение с открытым исходным кодом, которое мы могли бы использовать для его установки на нашем сервере? Р>
Нет смысла заново изобретать колесо.
Решение
DataparkSearch может быть тем, что вам нужно. Или просмотрите этот список других поисковых систем с открытым исходным кодом.