使用wget下载文件

Question

我需要从网页下载适合的文件。我使用-i选项的wget这样做：我下载的文件存储在其中包含URL1，URL2一个LIST.TXT文件...然后

$ wget -i list.txt 

你知道，如果有做的可能性同样的事情使用python脚本？ 谢谢。

Answer 1

假设你的文件包含每行一个网址，你可以这样做：

import urllib2 
with open('list.txt') as my_list: 
    for line in my_list: 
     response = urllib2.urlopen(line) 
     html = response.read() 
     # now process the page's source 

Answer 2

with open('list.txt') as my_list: 
    for url in my_list: 
     wget.download(url)