你是否遇到过：
- BeautifulSoup 解析太慢？
- re 提取数据太容易误匹配？
- 抓数据时 HTML 太乱根本不好搞？
本期，我们用 lxml + XPath 一把梭！
学习本来就不是一蹴而就的事，不过只要你肯练、敢用，坚持一阵子，你一定能看到变化！
为什么推荐 lxml？
- 比 html.parser 快 10 倍以上
- 支持 XPath（选择 DOM 像切菜一样丝滑）
- 支持 HTML/XML 双解析
- 兼容 BeautifulSoup 作为后端
安装与准备
pip install lxml requests常用操作大全（快速入门）
功能 | 语法示例 |
加载 HTML 字符串 | etree.HTML(html_str) |
读取 HTML 文件 | etree.parse("file.html") |
提取文本内容 | xpath("//tag/text()") |
提取属性值 | xpath("//a/@href") |
匹配包含关键词文本 | xpath("//p[contains(text(),'关键词')]") |
匹配多个属性 | xpath("//div[@id='main' and @class]") |
场景 1：从网页中提取标题、链接和内容
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
from lxml import etree
import requests
url = "https://quotes.toscrape.com"
html = requests.get(url).text
tree = etree.HTML(html)
quotes = tree.xpath('//div[@class="quote"]')
for q in quotes:
text = q.xpath('.//span[@class="text"]/text()')[0]
author = q.xpath('.//small/text()')[0]
print(f"{text} —— {author}")优势：定位精准、速度极快、写法直观！
场景 2：解析本地 HTML 文件，提取表格数据
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<title>伊朗 VS 以色列 </title>
</head>
<body>
<h1>伊朗 VS 以色列 对比表</h1>
<table id="data-table" border="1">
<tr>
<th>对比项目</th>
<th>伊朗</th>
<th>以色列</th>
</tr>
<tr>
<td>领土面积</td>
<td>164.5万平方公里</td>
<td>2.2万平方公里</td>
</tr>
<tr>
<td>人口</td>
<td>8855万</td>
<td>977万</td>
</tr>
<tr>
<td>现役军人</td>
<td>51.8万</td>
<td>16.9万</td>
</tr>
<tr>
<td>预备役</td>
<td>55万</td>
<td>46.5万</td>
</tr>
<tr>
<td>军费支出</td>
<td>300亿</td>
<td>465亿</td>
</tr>
</table>
</body>
</html>#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
rows = tree.xpath("//table[@id='data-table']//tr")
for row in rows[1:]:
cols = row.xpath(".//td/text()")
print(cols)场景 3：数据清洗+结构提取
<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="UTF-8">
<title>伊朗 VS 以色列 </title>
</head>
<body>
<div><p>国际原子能机构发出<b>紧急报道!</b><p>伊朗拥有409公斤高浓度浓缩铀神秘失去定位，</p>财联社报道<p>伊朗发生里氏4.3级地震。
</div>
</body>
</html>#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
from lxml import etree
tree = etree.parse("local_file.html", etree.HTMLParser())
texts = tree.xpath("//p//text()")
print(texts)
clean_text = "".join(texts).strip()
print(clean_text)lxml + requests 实战小爬虫
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
import requests
from lxml import etree
url = "https://www.python.org/"
resp = requests.get(url)
tree = etree.HTML(resp.text)
titles = tree.xpath("//a/text()")
links = tree.xpath("//a/@href")
for t, l in zip(titles[:10], links[:10]):
print(t.strip(), "=>", l)常用 XPath 表达式（速查表）
表达式 | 含义 |
//div | 所有 div 标签 |
//div[@class="box"] | class=box 的 div |
//a/@href | 提取 a 的 href 属性值 |
//ul/li[1] | ul 的第一个 li |
//p[contains(text(), "abc")] | 包含 abc 的 p 标签文本 |
//div//span | div 内任意层级的 span |
性能对比（lxml vs BeautifulSoup）
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
"""
@Project ：Fish
@File ：D20.py
@Date ：2025/6/19 20:36
@Author : malijie
"""
import time
from bs4 import BeautifulSoup
from lxml import etree
html = "<ul>" + "<li>数据</li>" * 1000 + "</ul>"
start = time.time()
soup = BeautifulSoup(html, "lxml")
print("bs4耗时：", time.time() - start)
start = time.time()
tree = etree.HTML(html)
print("lxml耗时：", time.time() - start)
实测：lxml 平均快 5-10 倍，特别适合大量结构化提取任务！
总结一句话
如果你要处理网页或 HTML 数据，lxml 是你最值得信赖的“精准刀”！
- 解析快
- 语法清晰
- 适合爬虫和清洗
- 企业实战广泛使用
下期预告
《每天一个 Python 库：scrapy，打造自己的高性能爬虫框架！》
点赞关注不迷路，不错过每一期实战技巧！
后续还有更多自动化测试经验分享～评论区欢迎唠嗑交流！
点头像，发现更多精彩内容！