随手记,python3.7 做的简单爬虫,爬取百度p2p论坛的数据到自己服务器的Oracle数据库

1、安装python3.7,成功后再cmd里面输入python会看到如下信息就表明成功了

随手记,python3.7 做的简单爬虫,爬取百度p2p论坛的数据到自己服务器的Oracle数据库

2、安装pycharm IDE

3、配置pythton3.7的安装路径为pycharm项目的Interpreter

随手记,python3.7 做的简单爬虫,爬取百度p2p论坛的数据到自己服务器的Oracle数据库

4、说一下python脚本里面只要用到了的模块,urllib.request用于发送请求  BeautifulSoup用于解析请求返回的页面数据 , cx_Oracle链接Oracle数据库记录爬取数据(PS虽然代码里看不到,但是运行环境一定要安装Oracle客户端 ,且客户端版本最好高一点,这个坑我踩过,低版本的客户端在IDE里可能能正常跑起来,但是打包成exe后可能就不支持了,目前我用的instantclient_11_2这个版本 最高的好像是12 ,在Oracle官网下载,后解压到指定路径,配置到环境变量,记住一定要重启电脑否则可能刚配的环境变量不会生效)