python BeautifulSoup库入门与实战

发表于 更新于 分类于

BeautifulSoup库入门

引入

1
2
from bs4 import BeautifulSoup
import bs4

约定引用方式如下，即主要是用BeautifulSoup类

BeautifulSoup类的基本元素

1.Tag             标签，最基本的信息组织单元，分别用<>和</>标明开头和结尾

2.Name            标签的名字，<p>…</p>的名字是'p'，格式：<tag>.name

3.Attributes      标签的属性，字典形式组织，格式：<tag>.attrs

4.NavigableString 标签内非属性字符串，<>…</>中字符串，格式：<tag>.string

5.Comment         标签内字符串的注释部分，一种特殊的Comment类型

bs4库的prettify()方法

.prettify()为HTML文本<>及其内容增加更加'\n'

.prettify()可用于标签，方法：<tag>.prettify()

bs4库的编码

bs4库将任何HTML输入都变成utf‐8编码

Python 3.x默认支持编码是utf‐8,解析无障碍

基于bs4库的HTML内容遍历方法

  • 标签树的下行遍历
    .contents 子节点的列表，将所有儿子节点存入列表
    .children 子节点的迭代类型，与.contents类似，用于循环遍历儿子节点
    .descendants 子孙节点的迭代类型，包含所有子孙节点，用于循环遍历

  • 标签树的上行遍历

    .parent 节点的父亲标签
    .parents 节点先辈标签的迭代类型，用于循环遍历先辈节点

  • 标签树的平行遍历

    .next_sibling 返回按照HTML文本顺序的下一个平行节点标签
    .previous_sibling 返回按照HTML文本顺序的上一个平行节点标签
    .next_siblings 迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
    .previous_siblings 迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

三种信息标记形式的比较

XML 最早的通用信息标记语言,可扩展性好,但繁琐,Internet上的信息交互与传递

JSON 信息有类型,适合程序处理(js),较XML简洁,移动应用云端和节点的信息通信,无注释

YAML 信息无类型,文本信息比例最高,可读性好,各类系统的配置文件,有注释易读

获取网页全部链接

1
2
3
4
5
6
7
import requests
from bs4 import BeautifulSoup
r = requests.get("https://www.douyu.com/138243")
demo = r.text
soup = BeautifulSoup(demo,"html.parser")
for link in soup.find_all('a'):
    print(link.get('href'))

常见方法

<>.find_all(name, attrs, recursive, string, **kwargs)
返回一个列表类型，存储查找的结果
name : 对标签名称的检索字符串
attrs: 对标签属性值的检索字符串，可标注属性检索
recursive: 是否对子孙全部检索，默认True
string: <>…</>中字符串区域的检索字符串

<tag>(..) 等价于 <tag>.find_all(..)

soup(..) 等价于 soup.find_all(..)

扩展方法

<>.find()                    搜索且只返回一个结果，同.find_all()参数

<>.find_parents()            在先辈节点中搜索，返回列表类型，同.find_all()参数

<>.find_parent()             在先辈节点中返回一个结果，同.find()参数

<>.find_next_siblings()      在后续平行节点中搜索，返回列表类型，同.find_all()参数

<>.find_next_sibling()       在后续平行节点中返回一个结果，同.find()参数

<>.find_previous_siblings()  在前序平行节点中搜索，返回列表类型，同.find_all()参数

<>.find_previous_sibling()   在前序平行节点中返回一个结果，同.find()参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
"""just测试"""
import requests
from bs4 import BeautifulSoup
r = requests.get("https://www.icourse163.org/home.htm?userId=1145095816#/home/course")
demo = r.text
soup = BeautifulSoup(demo,'html.parser')
tag = soup.a  # 获取第一个a标签
print(r.text)
print(demo)
print(soup)
print(tag)
print(tag.name)
print(tag.parent.name)
print(tag.parent.parent.name)
print(tag.attrs)
print(type(tag.attrs))
print(soup.title)
print(type(tag))
print(tag.attrs['href'])
print(tag.string)
print(type(soup.p.string))

BeautifulSoup实战：中国大学排名爬虫

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
import requests
from bs4 import BeautifulSoup
import bs4
import re
def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[3].string])

def printUnivList(ulist, num):
    tplt = "{0:^8}\t{1:{3}^8}\t{2:^8}"
    print(tplt.format("排名", "学校名称", "总分", chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0], u[1], u[2], chr(12288)))

def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html'
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)  # 20 univs

main()