使用硒与Python提取JavaScript生成的HTML?萤火虫?

问题描述:

Python noobie在这里。使用硒与Python提取JavaScript生成的HTML?萤火虫?

我有什么是数据收集问题。我在这个网站上,当我用Firebug检查我想要的元素时,它会显示包含我需要的信息的源代码。然而,常规的源代码(没有Firebug)不会给我这个信息。这意味着我也无法使用普通的硒HTML抓取数据。

我想知道是否有一种方式,硒可以像Firebug那样获取这些数据 - 我猜这是在用javascript或jquery加载页面后生成的HTML。

这里有一个画面: http://i.imgur.com/CXLOHYx.png

你可以看到我想要的信息是“灰色”,不像其他大部分HTML的存在。也许这对于真正的数据来说是一个很好的线索。

尝试使用下面的代码,看看它是否工作。

import selenium.webdriver.support.ui 

element = WebDriverWait(driver, 10).until(
     lambda driver : driver.find_element_by_xpath("fImageMap > area:nth-child(2)") 
) 
+0

是python吗?它告诉我WebDriverWait没有定义。我有'进口硒'和'从硒进口webdriver' – user1472747 2013-03-25 23:29:54

+0

尝试导入,以及它是否有效。 – EsotericNonsense 2013-03-26 02:32:28

+0

我认为你应该阅读以下问题的答案,它可以帮助你解决你的问题。 http://stackoverflow.com/questions/8917785/python-webdriver-wait – EsotericNonsense 2013-03-26 02:36:07