网站搜索和刮012

问题描述：

我为商务旅行和频繁的kayak.com旅行，让我想到了皮艇如何完成所有这些网站的搜索和刮取。网站搜索和刮012

我可以理解从加载的HTML页面获取数据，但他们如何完成Expedia的后端搜索，例如最终用户看到Expedia的网站？

答

我已经构建了像这样的数十个元搜索。有几个选项：

成为子公司：通常一个网站会给你一个API，你可以提交搜索，并迅速得到一个回应。大多数情况下，您会为推荐提供一点回馈。
刮目标网站：可能性是你不想尝试获取航空公司未来的整个行程，所以这里最好的计划是制定一个例行程序，将用户的搜索，将其提供给网站，并取回结果。您的前端需要处理异步结果或计划让用户等待很长时间。

Jason，谢谢你的回答。怎么做？/你会用什么来查询并将其提供给站点并得到答案......所有这些都在后端进行，而用户看不到这个问题？ – CFitz 2012-07-18 18:49:55

在我的情况下，我会使用jQuery，并为用户创建一个Web表单以填充搜索，并且提交该表单将1）将用户发送到结果页面（带有等待对话框），以及2 ）启动多个并发刮取代理以在各个供应商上运行搜索。 – 2013-07-01 17:42:07

答

实际上取决于您的SQL的联盟营销渠道结果不是一个好主意。我会找到一种方法在您的最后批量插入数据，并在数据提要结果周围构建搜索引擎。你对别人的依赖会影响你的建筑物的质量。

也想到它就像CAR一样，你添加的选项越多，打破的就越多。

结帐Avoli.com。