Python爬虫BeautifulSoup的高级用法

itomcoil 2025-02-03 13:21 15 浏览

BeautifulSoup是在Python中的一个非常流行的网页解析库，能够有效的帮助开发者从HTML或者是XML数据中提取想要的内容。虽然 BeautifulSoup入门简单，但是它也还有一些高级的使用功能，下面我们就来介绍一下 BeautifulSoup 中的一些高级用法来帮助开发者更好的使用这个库来实现网页数据的抓取和分析。

使用CSS选择器进行查找

BeautifulSoup中提供了很多基础的方法来进行元素的查找和数据的提取，比较常用的类似于 find() 和 find_all()等，当然它还支持了通过CSS的选择器来进行元素的查找，有点类似于jQuery的选择器语法，如下所示。

from bs4 import BeautifulSoup

html = """
<html>
    <body>
        <div class="content">
            <p class="first">Hello, World!</p>
            <p class="second">Python is great!</p>
        </div>
        <div class="footer">
            <p>Footer Content</p>
        </div>
    </body>
</html>
"""

soup = BeautifulSoup(html, 'html.parser')
# 使用 CSS 选择器
first_paragraph = soup.select('div.content p.first')
print(first_paragraph[0].text)

select()方法允许开发者通过类似于CSS选择器的语法来进行元素的查找，例如上面的代码中，我们通过 div.content p.first 选择了 class="first" 的 <p> 标签。当然如果匹配到了多个元素的时候，select()就会返回一个列表，这个时候，我们就需要通过循环索引来获取元素数据。

利用正则表达式匹配标签

在实际开发中，我们可以通过BeautifulSoup与re模块结合来通过正则表达式的方式来匹配HTML标签。如下所示。

import re
from bs4 import BeautifulSoup

html = """
<html>
    <body>
        <p class="text">Hello</p>
        <p class="text">World</p>
        <p class="number">123</p>
    </body>
</html>
"""

soup = BeautifulSoup(html, 'html.parser')
# 使用正则表达式查找 class 属性包含 "text" 的所有 <p> 标签
text_paragraphs = soup.find_all('p', class_=re.compile('text'))
for p in text_paragraphs:
    print(p.text)

通过class_ 参数传入一个正则表达式，在上面的代码实现中re.compile('text') 会匹配任何 class 属性中包含 text 字样的 <p> 标签。通过这种正则表达式可以增加程序处理的灵活性，尤其是在遇到一些需要特殊复杂处理的HTML内容的时候，这种方式就比较高效了。

获取元素的属性和内容

除了上面提到的两种方式，BeautifulSoup为了方便从标签中提取属性和文本内容，除了支持text 属性之外，还支持了通过get()方法来提取标签中的其他属性值，如下所示。

from bs4 import BeautifulSoup

html = """
<html>
    <body>
        <a href="https://example.com" class="link">Click here</a>
        <img src="image.jpg" alt="A beautiful image">
    </body>
</html>
"""

soup = BeautifulSoup(html, 'html.parser')
# 获取链接的 href 属性
link = soup.find('a')
print(link.get('href'))  # 输出: https://example.com
# 获取图片的 alt 属性
image = soup.find('img')
print(image.get('alt'))  # 输出: A beautiful image

通过get('attribute') 方法我们可以获取到标签的指定属性，例如link.get('href') 会返回 <a> 标签的 href 属性值。但是需要注意这个方法并不会抛出异常，即使出现了属性不存在的情况，也只会返回None而不会报错。

使用descendants和children遍历子节点

在BeautifulSoup中，我们可以通过descendants 和 children 属性来遍历标签的子节点或者是后代的其他节点，其中children仅遍历直接子节点，而descendants会遍历所有后代节点，包括孙子、曾孙等，如下所示，展示了如何使用这两个属性。

from bs4 import BeautifulSoup

html = """
<html>
    <body>
        <div>
            <p>First Paragraph</p>
            <p>Second Paragraph</p>
        </div>
        <div>
            <p>Third Paragraph</p>
        </div>
    </body>
</html>
"""

soup = BeautifulSoup(html, 'html.parser')
# 使用 descendants 遍历所有子节点
for elem in soup.body.descendants:
    if isinstance(elem, str):  # 过滤掉文本节点
        print(elem.strip())

在上面的实现中descendants会返回文档树中的所有的子节点，我们可以通过递归的方式来进行访问，而children则是只会返回当前标签的直接子节点，我们可以直接遍历这些节点。

遍历父节点和兄弟节点

当然除了遍历子节点之外，BeautifulSoup 也提供了向上和横向遍历的功能，例如我们可以通过 parent, parents, next_sibling, previous_sibling 等属性来方便地访问标签的父节点和兄弟节点，如下所示。

from bs4 import BeautifulSoup

html = """
<html>
    <body>
        <div>
            <p>First Paragraph</p>
            <p>Second Paragraph</p>
        </div>
    </body>
</html>
"""

soup = BeautifulSoup(html, 'html.parser')
# 获取第一个 <p> 标签的父节点
first_p = soup.find('p')
print(first_p.parent.name)  # 输出: div
# 获取兄弟节点
second_p = first_p.find_next_sibling('p')
print(second_p.text)  # 输出: Second Paragraph

通过parent属性返回当前标签的父节点，通过parents属性可以返回当前节点的所有的祖先节点，然后可以通过next_sibling来返回当前标签之后的兄弟节点，而previous_sibling则是用来返回当前标签之前的所有兄弟节点。

修改 HTML 内容

除了获取数据之外，BeautifulSoup还支持了对于数据的修改操作，如下所示，我们可以修改标签的文本内容、结构属性等内容。

from bs4 import BeautifulSoup

html = """
<html>
    <body>
        <p class="text">Old Text</p>
    </body>
</html>
"""

soup = BeautifulSoup(html, 'html.parser')
# 修改文本内容
p_tag = soup.find('p', class_='text')
p_tag.string = "New Text"
print(soup.prettify())

处理 JavaScript 生成的内容

在很多网站处理页面内容的时候，可能会用到动态JavaScript生成的内容，但是BeautifulSoup 本身并不支持处理 JavaScript 生成的动态内容，因此在抓取动态网页的时候，我们需要通过 Selenium 或 Playwright 等工具来加载 JavaScript 内容，然后将页面传递给 BeautifulSoup 进行解析，如下所示。

from selenium import webdriver
from bs4 import BeautifulSoup

# 使用 Selenium 获取渲染后的页面
driver = webdriver.Chrome()
driver.get('https://example.com')
html = driver.page_source
driver.quit()

# 使用 BeautifulSoup 解析
soup = BeautifulSoup(html, 'html.parser')
print(soup.prettify())

通过Selenium来模拟浏览器行为，然后等待数据渲染完成之后，获取到HTML的内容，最终通过BeautifulSoup 进行后续的解析和数据提取。

总结

BeautifulSoup提供了强大的网页解析功能不仅可以轻松提取静态页面中的数据，还可以配合正则表达式、CSS 选择器等进行更复杂的查找操作。掌握这些高级用法，能够帮助开发者更加高效地处理各种HTML页面，并从中提取有用的信息。

python div

上一篇：告别重复工作，Python操作xlwings实例演示
下一篇：全网最全最系统的python教程，整整600集!

Python爬虫BeautifulSoup的高级用法

使用CSS选择器进行查找

利用正则表达式匹配标签

获取元素的属性和内容

使用descendants和children遍历子节点

遍历父节点和兄弟节点

修改 HTML 内容

处理 JavaScript 生成的内容

总结

相关推荐

我用 1 个 2 手计算器换了 3 台 MacBook(上)

零基础也能搞定!DeepSeek大模型本地安装全攻略

Python三目运算符(三元运算符)用法详解

PS零基础入门教程:Photoshop 2024工具详解—标尺工具

PS 零基础入门 040:图层样式选项

a4尺寸是多大像素多少厘米长宽，4k的纸是多大的纸是a4的吗

PS零基础入门教程:Photoshop 2024工具详解—直线工具

Pony - 最智能的 Python ORM 框架

Python 最常用的语句、函数有哪些?

六种方法实现Python文件之间的通信方式