是否有搜索引擎包括索引机器人,可以通过为机器人提供某些属性来构成特殊目录?
-
03-07-2019 - |
题
我们的应用程序(C#/ .NET)需要大量查询才能进行搜索。谷歌每天的50,000政策是不够的。我们需要通过我们设置的特定规则(例如国家域名)抓取互联网网站并收集网址,文本,关键字,网站名称以及创建我们自己的内部目录,以便我们不限于任何大规模的外部搜索引擎像谷歌或雅虎。
我们可以使用任何免费的开源解决方案在我们的服务器上安装它吗?
重新发明轮子毫无意义。
解决方案
DataparkSearch 可能是您需要的。或者查看其他开源搜索引擎的此列表。
不隶属于 StackOverflow