使用硒与Python提取JavaScript生成的HTML?萤火虫?
问题描述:
Python noobie在这里。使用硒与Python提取JavaScript生成的HTML?萤火虫?
我有什么是数据收集问题。我在这个网站上,当我用Firebug检查我想要的元素时,它会显示包含我需要的信息的源代码。然而,常规的源代码(没有Firebug)不会给我这个信息。这意味着我也无法使用普通的硒HTML抓取数据。
我想知道是否有一种方式,硒可以像Firebug那样获取这些数据 - 我猜这是在用javascript或jquery加载页面后生成的HTML。
这里有一个画面: http://i.imgur.com/CXLOHYx.png
你可以看到我想要的信息是“灰色”,不像其他大部分HTML的存在。也许这对于真正的数据来说是一个很好的线索。
答
尝试使用下面的代码,看看它是否工作。
import selenium.webdriver.support.ui
element = WebDriverWait(driver, 10).until(
lambda driver : driver.find_element_by_xpath("fImageMap > area:nth-child(2)")
)
是python吗?它告诉我WebDriverWait没有定义。我有'进口硒'和'从硒进口webdriver' – user1472747 2013-03-25 23:29:54
尝试导入,以及它是否有效。 – EsotericNonsense 2013-03-26 02:32:28
我认为你应该阅读以下问题的答案,它可以帮助你解决你的问题。 http://stackoverflow.com/questions/8917785/python-webdriver-wait – EsotericNonsense 2013-03-26 02:36:07