특정 특성으로 봇을 공급하여 특수 카탈로그를 구성하는 데 사용할 수있는 인덱싱 봇을 포함한 검색 엔진이 있습니까?

Question

우리의 응용 프로그램 (c#/. net)은 검색하려면 많은 쿼리가 필요합니다. 하루에 Google의 50,000 정책으로는 충분하지 않습니다. 우리는 우리가 설정 한 특정 규칙에 따라 인터넷 웹 사이트를 크롤링하고 (컨트리 도메인) URL, 텍스트, 키워드, 웹 사이트 이름을 수집하고 자체 내부 카탈로그를 만들어 거대한 외부 검색 엔진으로 제한되지 않도록해야합니다. Google 또는 Yahoo처럼.

서버에 설치하는 데 사용할 수있는 무료 오픈 소스 솔루션이 있습니까?

바퀴를 다시 발명 할 필요는 없습니다.

Answer 1

DataparkSearch 필요한 사람 일 수 있습니다. 또는 검토 이 목록 다른 오픈 소스 검색 엔진의.