Python爬虫之XPath

最新推荐文章于 2025-05-17 13:02:02 发布

小灵子2050

最新推荐文章于 2025-05-17 13:02:02 发布

阅读量635

点赞数

CC 4.0 BY-SA版权

分类专栏： Python XPath lxml

本文链接：https://blog.csdn.net/qq_41332002/article/details/90736705

Python 同时被 3 个专栏收录

14 篇文章

订阅专栏

XPath

1 篇文章

订阅专栏

lxml

1 篇文章

订阅专栏

本文介绍了Python中的lxml库，该库高效地支持HTML和XML解析，并利用XPath进行信息查找。XPath是一种强大的路径语言，适用于XML和HTML文档，提供简洁的路径表达式及丰富的内置函数，便于节点选择和处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高

XPath，全称XML PathLanguage，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索 XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择

参考一个html文件说明,先了解下html文件

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8"></meta>
    <title>The blah</title>
    <link rel="stylesheet" type="text/css" href="homework.css"> <!--引用文件夹中的css样式:homework.css-->
</head>
<body> <!--body部分,填入在网页上可见的内容,也就是给人看的内容-->
    <div class="header"> <!--第一个div,对应header头部部分,使用class=""引用css中对应的样式-->
        <img src="images/blah.png"> <!--引用logo图片-->
        <ul class="nav"> <!--使用ul标签构建导航模块,并且引用导航样式-->
            <li><a href="#">Home</a></li>  <!--使用三个li标签套嵌a标签,创建3个带链接的导航栏-->
            <li><a href="#">Site</a></li>
            <li><a href="#">Other</a></li>
        </ul>
    </div>
    <div class="main-content"> <!--第二个div,对应content内容部分-->
        <h2>The Beach</h2>  <!--使用h2标签实现标题样式-->
        <hr>  <!--使用hr标签实现水平分割线,需要注意的是这个标签比较特殊,在html中只有开始标签<hr>,没有结束标签</hr>-->
        <ul class="photos"> <!--使用ul标签构建图片模块,并且引用图片样式-->
            <li><img src="images/0001.jpg" width="150" height="150" alt="Pic1"></li> <!--使用三个li标签套嵌img标签,创建3个并列的图片,图片限定了宽高;alt是 img标签的属性,是图片的文字提示-->
            <li><img src="images/0003.jpg" width="150" height="150" alt="Pic2"></li>
            <li><img src="images/0004.jpg" width="150" height="150" alt="Pic3"></li>
        </ul>
        <p> <!--p标签实现一段文字的效果-->
            stretching from Solta to Mljet, and this unique cycling trip captures the highlights with an ideal
            balance of activity, culture and relaxation. Experience the beautiful island of Korcula with its picturesque old town,
            the untouched beauty of Vis, and trendy Hvar with its Venetian architecture. In the company of a cycling guide,
            this stimulating journey explores towns and landscapes, many of which are on UNESCO's world heritage list.
            Aboard the comfortably appointed wooden motor yacht,
            there is ample time between cycles to swim in the azure waters and soak up the ambience of seaside towns.
        </p>


    </div>
    <div class="footer">  <!--第三个div,对应footer页脚部分-->
        <p>&copy; Mugglecoding</p> <!--&copy;是©的固定写法-->
    </div>
</body>
</html>

下面是一些XPath的匹配操作

"""
topic:使用XPath进行爬虫匹配
author:小灵子
date:2019-6-2
"""

from lxml import etree
#先定义l两个测试函数
def simple_out(ele_list):
	for ele in ele_list:
		print(ele)
def nodes_out(nodes):
    for node in nodes:
        print(node.text)
"""
先生成XPath解析对象，然后进行节点匹配，而不是对原生的XML或者html文档进行直接解析
"""
tree = etree.parse("homework.html",etree.HTMLParser())#初始化生成一个XPath解析对象

images = tree.xpath("//li//@src")  #假设我想要获取图片位置
simple_out(images)

#获取导航标签文字
nav_nodes = tree.xpath("//ul[@class='nav']//a")
nodes_out(nav_nodes)

#也可以直接获取标签文字
nav_tags = tree.xpath('//ul[@class="nav"]//a/text()')
simple_out(nav_tags)

这些知识足够使用lxml库了