使用lxml.etree配合Xpath快速爬取100项网页关键词

最新推荐文章于 2022-08-18 11:48:31 发布

梧桐雪

最新推荐文章于 2022-08-18 11:48:31 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python的应用文章标签： python

本文链接：https://blog.csdn.net/weixin_41855010/article/details/121198244

python的应用专栏收录该内容

63 篇文章

订阅专栏

本文介绍了如何使用Python的lxml库通过XPath从网页中提取特定内容，以欧盟发布的100项创新技术为例，详细阐述了从保存网页到定位Xpath，再到解析和提取数据的完整过程，帮助读者掌握自动化数据提取技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

欧盟委员会（EUROPEAN COMMISSION）发布《面向未来的100项重大创新突破》（100 Radical Innovation Breakthroughs for the future）报告，我们在微信公众号文章中可以看到原文面向未来的100项颠覆性技术创新。现在我有一个需求，就是把这100项技术提取出来，如果手动提取的话，就会比较累，那么我们能不能使用python来进行提取呢？答案是肯定的，只需要使用lxml模块中的etree方法，使用Xpath语法就可以完成这个功能了。

第一步：将网页另存到本地

我们可以在浏览器中依次点击右键-另存为，将这个网页保存到本地，在这里，我把这个文件命名为了"toptech.html"
在这里插入图片描述

第二步：找到所需要提取内容的Xpath

这个如果手写的话需要学习Xpath语法，不过我们的浏览器已经帮我们做好了解析的工作，我们只需要直接右键就可以得到Xpath了，如下图所示：
在这里插入图片描述
这个步骤要在开发者工具里面执行，Chrome浏览器中的快捷键是“ctr+shift+J”，然后使用左上角的选择工具（箭头图表），左键选择需要找到的对象，然后在右边右键CopyXpath，就可以得到所需要的Xpath了，我找了一些元素，他们的Xpath如下所示：

//*[@id="js_content"]/section[3]/section/section[4]/section/section/section/p/span/strong

//*[@id="js_content"]/section[3]/section/section[3]/section/section/section/p/span/strong

//*[@id="js_content"]/section[3]/section/section[7]/section/section/section/p/span/strong

//*@id="js_content"]/section[3]/section/section[106]/section/section/section/section/p/span/strong

不难找出规律，得到通用的表达式：

//*[@id="js_content"]/section[3]/section/section[*]/section/section/section/p/span/strong

//*[@id="js_content"]/section[3]/section/section[*]/section/section/section/section/p/span/strong

第三步：使用lxml.etree方法进行解析和提取

这里我参考了Python利用requests和xpath爬取网页内容过程这篇博客，然后编写了以下简单的代码：

from lxml import etree
html = etree.parse('./toptech.html', etree.HTMLParser())
results = html.xpath('//*[@id="js_content"]/section[3]/section/section[*]/section/section/section/p/span/strong')
for result in results:	
	print(result.text)
results = html.xpath('//*[@id="js_content"]/section[3]/section/section[*]/section/section/section/section/p/span/strong')
for result in results:	
	print(result.text)