Scrapy设置动态User-Agent时遇到的巨坑

今天带着开心的心情去爬取豆瓣所有的电影，然而，在第一次IP被封了的时候设置动态User-Agent后就一直出现302或者连接拒绝一系列的问题，搞了一天，最后终于发现，是在写下载中间类的时候取名出错，真是蛋疼！！！能想象吗，就是一个不怎么写博客的人被生生气到写博客来发泄，WTF，一天就这么没了！！！

Scrapy框架设置动态UserAgent和IP地址池遇到的巨坑