python 爬虫对使用Xpath定位文本内容的处理extract_first()

最新推荐文章于 2022-05-09 11:24:17 发布
最新推荐文章于 2022-05-09 11:24:17 发布
阅读量1.7w 收藏 9
点赞数
分类专栏： python 文章标签： Xpath定位文本内容的处理extract_first() 爬虫 数据处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/testManger/article/details/84775213
版权
本文介绍了Python爬虫中如何利用Xpath定位并处理文本内容。首先，通过`extract_first()`方法获取最外层标签的文本，然后结合正则表达式去除空格和逗号。接着，通过遍历子标签`/text()`获取内容，并将多个文本字符串拼接成一个无标签的干净文本。最后，强调了即使经过正则处理，仍可能需要进一步的数据清洗以达到预期效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.使用string(.)进行we文本 内容的处理  这时的文本内容并非是真正干净的文本内容 还需要借助其他方法进行优化 用法如下:

content.xpath('//*[@id="guidePage"]/section[2]/div[2]/ol/li[1]/h4').xpath('string(.)').extract_first()

结果如下:

 

2.用如下的方法进行优化

2.1 获取最外层标签，遍历内部所有的子标签“/text()”，获取标签文本

class XiaoshuoSpider(scrapy.Spider):
    name = 'xiaoshuo'
    allowed_domains = ['tieba.baidu.com']
    start_urls = ['https://tieba.baidu.com/p/5815118868']
    f= open('content.txt','a',encoding='utf-8

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 64万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
python extract_Scrapy框架get() 、getall() 、extract() 、extract_first()的区别
weixin_39689870的博客
11-21 1115
开篇明义：get() 、getall() 是新版本的方法，extract() 、extract_first()是旧版本的方法。前者更好用，取不到就返回None，后者取不到就raise一个错误。推荐使用新方法，官方文档中也都改用前者了看官方文档（链接附在文末），看到了关于get()、get()方法的使用，查阅网络没有资料，那就自己记录一下。y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~y( ˙ᴗ. )耶~...
Python Web数据抓取（xpath版）
Yatere的天平秤
10-03 1392
（1）采用SQLite缓存抓取的HTML页面，大大提高了二次数据处理的效率。第一次运行程序大约耗时6小时，以后只需3分钟左右即可完成。（2）采用xpath替换之前的正则表达式进行HTML解析。xpath定位更加简单、方便，而且能够自动修正html错误语法。xpath真强大！！（3
scrapy爬虫框架 (3. xpath、/text()、extract()与extract_first()学习)
随笔
01-26 1806
文章目录1.xpath简介2.xpath节点3.xpath语法3.1 选取节点3.1.1 常例3.1.2 通配3.1.3 选取多条路径3.2 谓语 1.xpath简介 XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历，用来确定XML文档中某部分位置。 2.xpath节点 节点关系 2.1 父（Parent） 每个元素以及属性都有一个父。 ...
python extract_first_Python爬虫Xpath、CSS选择器 实用 | 高级技巧总结
weixin_35719402的博客
02-09 604
HTML文本转DOM树的两种方式1、使用lxml.etreefrom lxml import etreehtml = etree.HTML(html_text)html.xpath("//div[@class='tabslider']/ul")2、使用scrapy团队开源的parsel库(推荐)from parsel import Selector# 构建DOM树html = Selector(t...
scrapy使用xpath的extract()和extract_first()的区别
学习机器学习
10-05 2万+
在使用scrapy爬虫的时候，我们常常使用xpath来获取html标签，但是我们经常会用到提取的方法，有两种提取的方法，分别是： extract():这个方法返回的是一个数组list，，里面包含了多个string，如果只有一个string，则返回['ABC']这样的形式。 extract_first()：这个方法返回的是一个string字符串，是list数组里面的第一个字符串。 Xpath选...
python中的xpath语法
Nakisha的博客
06-15 579
import parsel html_str = ''' <div> <ul> <li class = "item-1"> <a href = "link1.htm1">第一个</a> </li> <li class = "item-2">
python extract_first_Python爬虫（16）利用Scrapy爬取银行理财产品信息（共12多万条）...
weixin_28704565的博客
03-01 657
本次Scrapy爬虫的目标是爬取“融360”网站上所有银行理财产品的信息，并存入MongoDB中。网页的截图如下，全部数据共12多万条。银行理财产品我们不再过多介绍Scrapy的创建和运行，只给出相关的代码。关于Scrapy的创建和运行，有兴趣的读者可以参考：Scrapy爬虫(4)爬取豆瓣电影Top250图片。修改items.py，代码如下，用来储存每个理财产品的相关信息，如产品名称，发行银行等。...
python爬虫xpath提取文本
03-27
Python爬虫xpath提取文本的方法如下： 1. 导入相关模块 ```python import requests from lxml import etree ``` 2. 发送请求获取页面源码 ```python url = 'http://www.example.com' response = requests.get...
Python爬虫框架Scrapy中xpath用法详解
根据提供的信息，我们将详细解读并展开与Python爬虫框架Scrapy、xpath用法、以及它们如何在爬虫开发中得到应用的相关知识点。 ### Scrapy框架 Scrapy是一个用于爬取网站数据和提取结构性数据的应用框架，用Python...
python XPath
topfire7的专栏
12-18 1万+
提取Item 选择器介绍 我们有很多方法从网站中提取数据。Scrapy 使用一种叫做 XPath selectors的机制，它基于 XPath表达式。如果你想了解更多selectors和其他机制你可以查阅资料http://doc.scrapy.org/topics/selectors.html#topics-selectors  这是一些XPath表达式的例子和他们的含义 /h
Python scrapy 提取不到字段设置默认值extract_first()
Ming的博客
03-27 1985
使用extract_first()设置默认值 当我们使用scrapy爬虫时，经常用xpath提取信息。但是，当xpath提取不到内容时会返回None值，None值在后续的处理过程中很不友好，所以我们可以使用extract_first()设置默认值。 >>> test = response.css(".lllaaa a").extract_first("默认值") >>...
python-爬虫中的extract()
reg183的专栏
05-09 1937
使用scrapy框架爬虫时，用到xpath提取网页标签时，时常用到extract()，有时加上[0]，或是extract_first()，那么它们的意义分别是什么呢？ 这是一个简单的html结构~ <ul class="list"> <li>123</li> <li>abc</li> </ul> #1 xx.xpath("./ul[@class='list']/li") #xx是html文档 #xpath解析返回一个解
使用scrapy框架爬虫的时候xpath的extract()和extract_first()的区别
Miracle.Zhao的博客
04-02 1万+
在使用scrapy爬虫的时候，我们常常使用xpath来获取html标签，但是我们经常会用到提取的方法，有两种提取的方法，分别是： extract():这个方法返回的是一个数组list，，里面包含了多个string，如果只有一个string，则返回['ABC']这样的形式。 extract_first()：这个方法返回的是一个string字符串，是list数组里面的第一个字符串。 ...
scrapy框架中使用xpath的extract()和extract_first()的区别
qq_45343089的博客
02-22 1404
在使用scrapy爬虫的时候，我们常常使用xpath来获取html标签，但是我们经常会用到提取的方法，有两种提取的方法，分别是： extract():这个方法返回的是一个数组list，，里面包含了多个string，如果只有一个string，则返回[‘ABC’]这样的形式。 extract_first()：这个方法返回的是一个string字符串，是list数组里面的第一个字符串。 ...
xpath的extract()方法
热门推荐
HAZER644的博客
12-16 2万+
extract()经常使用来切片（脱壳）从一个对象中得到list 下面是scrapy的官方文档，里面有选择器（selector）的一些介绍 http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/selectors.html#selectorlist 常见的extract()的一些用法： 1. 返回一个list(就是系统自带的那个)
xpath.extract() 的使用
weixin_43983838的博客
04-16 6437
最近在爬虫中使用xpath的时候，发现了extract这个方法 我们今天就来说说 xpath.extract 叭 extract 的用法 不加extract时，返回一个SelectorList 对象 这里没有用 extract 时，是这样的 （文末附有 SelectorList 的一些信息） 使用extract() ，返回一个列表，里面是提取的内容 然后，我们使用 extract()...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小赖同学啊

感谢上帝的投喂

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值