python库——Lxml

最新推荐文章于 2025-07-05 14:41:56 发布

叶柖

最新推荐文章于 2025-07-05 14:41:56 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 爬虫

本文链接：https://blog.csdn.net/qq_38929220/article/details/83623057

python 专栏收录该内容

13 篇文章

订阅专栏

本文介绍Lxml模块，一种用于Python的高效XML和HTML解析库。文章详细解释了如何使用Lxml处理不规范的HTML，通过CSS选择器进行元素选择，并对比了其与正则表达式的性能。Lxml不仅速度快，而且易于使用，适用于多种场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Lxml模块使用C语言编写，解析速度比BeautifulSoup要快。用于处理Python语言中的XML和HTML。
可直接命令行pip install lxml安装。

Lxml爬虫使用

将有可能不合法的HTML解析为统一格式

>>>import lxml.html
>>>broken_html = '<ul class=shop><li>Price<li>Number</ul>'
>>>tree = lxml.html.fromstring(broken_html) #解析HTML
>>>fixed_html = lxml.html.tostring(tree,pretty_print=True)
>>>print(fixed_html)
<ul class="shop">
 <li>Price</li>
 <li>Number</li>
</ul>

使用CSS选择器选择元素
lxml有几种不同的方法选择元素，CSS选择器更加简洁并且可以在解析动态内容时得以复用。
css选择器的安装：pip install cssselect
例（爬取中国天气网天气）：

import lxml.html
import urllib.request

url = 'http://www.weather.com.cn/weather/101020100.shtml'
#模拟成浏览器
headers = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0")
opener = urllib.request.build_opener()
opener.addheaders = [headers]
html = urllib.request.urlopen(url).read()
tree = lxml.html.fromstring(html)
td = tree.cssselect('p.tem')[0]
wea=td.text_content()
print(wea)