如何发送响应的HttpWebRequest为Web刮
问题描述:
你好,我尝试从网页刮数据,但这里是我的问题:
当我连接到与httpwebrequest
服务器设置头Connection: Keep-Alive
服务器,然后要求加载验证码网页面(与ajax
真实网页验证码负荷),那么解决的验证码后返回答案的最后一个请求,最后加载数据
如何发送响应的HttpWebRequest为Web刮
webpage -> captcha -> Solve -> Back to first web page -> show data
,以及如何我试着做?
- 与
webrequest
发送请求到网页 - 得到
request
- 负载
captcha page
cookie
信息并获得catpcha pic
-
send captcha pic
到其他网站solve
这一点,get captcha answer
- 与
webrequest
发送captcha answer
和get cookie and session id
- 发送
new webrequest
与cookie and session id
为load data
始终 - >失败,我认为,是因为Connection: Keep-Alive
所以我怎样才能解决这个问题?
还当我尝试在webbrowse加载页面,我不知道为什么,但在任何浏览器CONTROLE页面这么想的正确加载,所以我不能用浏览器做的工作
更新
我问题:
如何从GetResponse()
之后发送答案(再次发布数据)httpwebrequest
并保持在线(不使用来自新的连接使用)
答
如果你有keep-alive
问题,那么尝试禁用它:HttpWebRequest.KeepAlive Property
HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://www.contoso.com");
req.KeepAlive = false;
+0
感谢您的回答,但是如果您了解我的问题,您知道我的所有问题都是从httpwebreq断开并打开另一个,所以我不认为这是工作,您认为? – MrUnknow
请尝试描述一个您无法解决的问题。例如如何获得一个没有'keep-alive'属性的连接。看看[如何问](http://stackoverflow.com/help/how-to-ask) – jwillmer
好的,更新!现在你怎么看? – MrUnknow