什么是BeautifulSoup

Beautiful Soup是一个Python包，功能包括解析HTML、XML文档、修复含有未闭合标签等错误的文档（此种文档常被称为tag soup）。这个扩展包为待解析的页面创建一棵树，以便提取其中的数据，这在网络数据采集时非常有用.

BeautifulSoup的基本用法

解析器

基本元素

基本元素在html文档中的位置：

遍历方式

遍历方式有上行遍历、下行遍历和平行遍历。不同的功能需要利用到不同的遍历方式。

下行遍历对应的功能(contents和children的效果一致，只是返回的对象类型不一样，并且他们返回的都是直接儿子节点，descendants返回的是所有的子孙节点）

上行遍历对应的功能(parent返回的是直接先辈标签，parents返回的是所有的先辈)

平行遍历对应的功能（注意，这里的平时遍历，必须是发生在同一个父亲节点下的平行遍历，如下图就不是平行遍历）


总结

HTML格式化和编码

soup.prettify()函数可以解析HTML，将每一个标签和内容后面都加上/n换行符。

beautifulSoup将所有的HTML文件都转换成了UTF-8编码，所以中文字符可以很方便的在程序中显示出来。（注意Python3以上默认UTF-8编码，Python3以下建议更新到Python3）