文件下载使用按钮点击飞溅

问题描述：

我有一个蜘蛛用于刮一些数据以及pdf文件。一切都完成，除了pdf。 pdf没有直接下载到file_urls字段。的HTML看起来像这样文件下载使用按钮点击飞溅

<a onclick="document.forms[0].target ='_blank';" id="main_0_body_0_lnkDownloadBio" href="javascript:__doPostBack('main_0$body_0$lnkDownloadBio','')">Download full <span class="no-wrap">bio <i class="fa fa-angle-right" data-nowrap-cta=""></i></span></a>

看来一些JavaScript点击方法工作，而不是SRC。当我们点击这个，它会打开一个新的窗口，下载选项。现在我计划使用splash请求和lua脚本。这里是代码

class DataSpider(scrapy.Spider): 

name = config.NAME 
allowed_domains = [config.DOMAIN] 

def start_requests(self): 

    for url in config.START_URLS: 
     yield scrapy.Request(url, self.parse_data) 

def parse_data(self, response): 
    script = """ 
    function main(splash) 
     local url = splash.args.url 
     assert(splash:go(url)) 
     assert(splash:wait(1)) 

     -- go back 1 month in time and wait a little (1 second) 
     assert(splash:runjs("document.getElementById('DownloadBio').click()")) 
     assert(splash:wait(1)) 

     -- return result as a JSON object 
     return { 
      html = splash:html(), 
     } 
    end 
    """ 

    response = json.loads(response.text) 
    res = response['people'] 
    for index, i in enumerate(res[1]): 
     first_name = res[index]['name'] 
     last_name = res[index]['lastname'] 
     location = res[index]['location'] 
     link = res[index]['pageurl'] 
     link = config.HOST + link 
     item = ProtoscraperItem(first_name=first_name, last_name=last_name, title=title, location=location, link=link) 

     # This request is for the detail page and there is more info and pdf. 

     request = SplashRequest(link, self.parse_details, meta={ 
      'splash': { 
       'args': {'lua_source': script, 'wait': 30, 'timeout': 40}, 
       'endpoint': 'execute', 
      },) 
     request.meta['item'] = item 
     request.meta['link'] = link 
     yield request 

def parse_details(self, response): 

    # what to do here

所以我在这里点击锚标签来执行javscript。我认为它正在工作，但没有下载。我在这里错过了什么。是否可以指定要下载的路径？我认为这可能与硒，但我怎么能做到这一点与飞溅和卢阿？

'parse_details'方法中的response.body是什么？ –

我刚刚在另一个网站上下载了PDF格式的文件，它似乎不适合你。因此，您需要做的是查看在正常浏览器中提交表单时启动的请求类型，并尝试通过普通浏览器直接模拟请求 –

@TarunLalwani表单提交发起请求并使用pdf打开新选项卡。这是在下载或打印任何文档之前的浏览器预览。我已经从代码提交了相同的表单，但是我收到了与响应文本相同的html。你能告诉我如何发送这个请求和过程？ –

答

通过查看点击按钮，我相信它在ASP.net中调用“__doPostBack”函数。当你点击提交按钮时，表单[0]被赋予某些值。您需要使用表单提交将所有提交的元素嵌入页面。需要这样

参数是

__EVENTTARGET，

__EVENTARGUMENT

__VIEWSTATE

__VIEWSTATEGENERATOR

__EVENTVALIDATION

也许更多，通常这些参数被设置为表单中的隐藏值。（请确认它在你的网页）

arguments = {'__EVENTTARGET': 'main_0$body_0$lnkDownloadBio', 
       '__EVENTARGUMENT': '', 
       '__VIEWSTATE': viewstate, 
       '__VIEWSTATEGENERATOR': viewstategen, 
       '__EVENTVALIDATION': eventvalid, 
       'search': '', 
       'filters': '', 
       'score': '' 
       } 

    HEADERS = { 
       'Content-Type':'application/x-www-form-urlencoded', 
       'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) 
       AppleWebKit/537.36 (KHTML, like Gecko) 
       Chrome/60.0.3112.101 Safari/537.36', 
       'Accept': 'text/html, application/xhtml + xml, 
       application/xml;q = 0.9, image/webp, image/apng, * 
       /*;q = 0.8' 
       } 

    data = urllib.urlencode(arguments) 
    r = requests.post(submitin_url, data, allow_redirects=False, headers=HEADERS) 

    with open(some_filename, 'wb') as f: 
     f.write(r.content)

我有类似的方面的工作与我的项目，我有这样做。使用Python请求发送表单值和参数。响应将是您正在尝试下载的文件。将它写入一个文件并确保扩展是正确的。我希望这会对你有所帮助。

文件下载使用按钮点击飞溅

相关推荐