是否有一个搜索引擎,包括索引bot,可以通过向bot提供某些属性来构成特殊目录?
问题描述:
我们的应用程序(C#/。NET)需要大量的查询来搜索。 Google每天的50,000条政策是不够的。我们需要通过我们设置的特定规则(例如国家/地区域)来抓取互联网网站,并收集网址,文本,关键字和网站名称,并创建我们自己的内部目录,这样我们就不会受限于任何大规模的外部搜索引擎像谷歌或雅虎。是否有一个搜索引擎,包括索引bot,可以通过向bot提供某些属性来构成特殊目录?
有没有免费的开源解决方案可以用来在我们的服务器上安装?
重新发明车轮没有意义。