Python3 爬虫实战(一)——爬取one每日一句，并保存到本地

前言
  ONE是韩寒的一个团队，主要内容是每日一句话、一幅图片、一篇文章、一个问题。我们此次爬虫的目标就是爬取ONE往期所有的每日一句，并保存下来。每日一句的页面如下图所示。

  大致可以按照以下的思路进行：
  1.由于是所有的往期，所以要先确定每期页面的url的规律
  2.查看页面源代码，确定要爬取内容的位置
  3.写爬虫程序，爬取内容并保存

1.确定URL规律
  下图是我们要爬取的页面中的三个关键部分：URL、期次、每日一句。

  观察URL我们可以看出，每一期的URL公共部分是http://wufazhuce.com/one/，然后后面加上不同的数字，但是期次和这个数字又不相同。经过简单尝试，得出这个数字的范围大概是14-1773(2017年7月18日为终点)。这样所有的URL就是：http://wufazhuce.com/one/+num（num范围是14-1773）

2.分析源代码，定位目标
  打开Chrome开发者模式（其他浏览器也有类似的查看源代码的功能），可以看到如下图所示的源代码：

  从图中我们可以看出，期次和每日一句所在的标签分别是****class属性为“one-titulo”和”one-cita”的div

3.写爬虫程序

  开发工具和开发环境：Windows+Python3；IDE使用的是Spyder，可以先下载Anaconda，下载之后就包含了Spyder，并且包含了几乎所有用的到的第三方库，就不用再次下载了。
  本程序主要用到的库是requests和Beautiful Soup两个。代码如下，有详细的注释。

import requests
import re
from bs4 import BeautifulSoup

url='http://wufazhuce.com/one/'#每一期的链接共同的部分
words=['0']*1800#定义一个长度为1800的列表，用来保存每一句话，并初始化为全‘0’
for i in range(14,1774):
    s=str(i)#数字类型转为字符串类型
    currenturl=url+s#当前期的链接
    try:
        res=requests.get(currenturl)
        res.raise_for_status()
    except requests.RequestException as e:#处理异常
        print(e)
    else:
        html=res.text#页面内容
        soup = BeautifulSoup(html,'html.parser')
        a=soup.select('.one-titulo')#查找期次所在的标签
        b=soup.select('.one-cita')#查找“每日一句”所在的标签
        index=re.sub("\D","",a[0].string.split()[0])#从“vol.xxx”提取期次数值作为下标
        if(index==''):
            continue
        words[int(index)]=b[0].string.split()#将该期“每日一句”存入列表

f=open("one2.txt","a",encoding='utf-8')#将每句话写入这个txt文件中，先打开
for i in range(1,1774):
    if(words[i]=='0'):
        continue
    else:
        f.writelines('VOL.'+str(i)+'\n')#写入期次和换行
        f.writelines('    ')#每句话开始空四格
        f.writelines(words[i])#写入该句话
        f.writelines('\n\n')#换行，并空一行写入下一句        
f.close()#关闭文件

4.执行结果：

  大功告成了！下次博文更新ONE的图片爬虫