在Python中打开一个URL并获得X个字节的最佳方式是什么？

Question

我希望有一个机器人每小时获取一个URL，但如果该网站的操作员是恶意的，他可以让他的服务器发送一个1 GB的文件。有没有一种好的方法可以将下载限制为100KB，并在限制之后停止下载？

我可以想象从头开始编写自己的连接处理程序，但是我想尽可能使用urllib2，只是以某种方式指定限制。

谢谢！

Answer 1

这可能是你在找什么：

import urllib 

def download(url, bytes = 1024): 
    """Copy the contents of a file from a given URL 
    to a local file. 
    """ 
    webFile = urllib.urlopen(url) 
    localFile = open(url.split('/')[-1], 'w') 
    localFile.write(webFile.read(bytes)) 
    webFile.close() 
    localFile.close()