python豆瓣电影xpath方法索引爬虫并导入数据库
在学了urllib和Fiddler抓包爬虫之后,最大的感触就是费时费力效果也不好,偶然在一篇文章中发现xpath基于开发者工具爬虫并对相同标签进行索引,解决了同一个标题却有多个相同标签的问题,这是写入数据库的效果
爬虫代码
在学了urllib和Fiddler抓包爬虫之后,最大的感触就是费时费力效果也不好,偶然在一篇文章中发现xpath基于开发者工具爬虫并对相同标签进行索引,解决了同一个标题却有多个相同标签的问题,这是写入数据库的效果
爬虫代码