Scrapy-Splash爬取淘宝排行榜（一）

最新推荐文章于 2024-12-18 05:46:19 发布
最新推荐文章于 2024-12-18 05:46:19 发布
阅读量9.2k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： python 爬虫 文章标签： python scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23849183/article/details/51287935
本文介绍如何利用Scrapy-Splash框架爬取淘宝排行榜。由于淘宝使用AJAX技术，普通爬虫无法获取完整数据，作者选择Scrapy-Splash进行JS解析。文中涵盖了Scrapy-Splash的安装及简单使用方法，包括配置下载和爬虫中间件，但并未涉及高级功能。文章以一篇系列博客的形式展开，后续部分将详细介绍实际爬取操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一 引言

日前，自己因项目需要需要爬取淘宝排行榜，而淘宝因为用了很多的AJAX技术，不能用普通的爬虫爬取，于是我这里就想用如一些集成了PhantomJS或类似的python爬虫框架。一开始自己尝试了pyspider，但是自己对pysider并不是很熟练，而且网上这方面资料也很少，于是弃坑转为自己较为熟悉的scrapy框架。经过一番搜索，在Github发现了这个，scrapy-splash，由scrapy框架开发者维护，可以作为scrapy的中间件使用，从而提供对AJAX页面的JS解析。

二 安装

这里不详细说明scrapy和scrapy-splash的安装过程，可参考下面给出的官方链接

scrapy框架的安装

scrapy框架安装

scrapy-splash安装

scrapy-splash安装

三 使用scrapy-splash

1.要使用scrapy-splash，可以参考官方的文档
也参考我下面的方法（不过，我这里这是很简单的使用了scrapy-splash，并没有用到其他功能。如果自己还要更高阶的需求，如使用redis作为消

最低0.47元/天 解锁文章

200万优质内容无限畅学
scrapy+splash爬取京东冰激凌信息
三人行必有我师的博客
02-11 655
1.启动splash： 使用docker启动服务命令启动Splash服务： sudo docker run -p 5023:5023 -p 8050:8050 -p 8051:8051 scrapinghub/splash 2.创建新的项目：icecreamJD，创建新的爬虫icecream scrapy startproject icecreamJD scrapy genspider ...
用scrapy-splash爬取淘宝
weixin_44274975的博客
04-08 1020
第一步：先安装scrapy-splash sudo pip3 install scrapy-splash 第二步：打开docker 第三步：创建一个爬虫项目 创建爬虫项目的命令如下： 如爬取淘宝：scrapy startproject taobao(爬虫名) cd taobao(爬虫名) scrapy genspider taobao_comment(爬虫项目名) taobao.com(淘宝...
python爬取淘宝排名
weixin_30824479的博客
11-14 394
import timeimport jsonimport requestsimport xlrdimport randomimport os from xlutils.copy import copy #导入模块excel = r'C:\Users\Administrator\Desktop\查排名.xls' try: rdx = xlrd.open_workbook(excel, fo...
scrapy_splash基本使用
王涛涛的博客
09-06 1482
十、scrapy_splash 1.scrapy_splash是scrapy的一个组件 scrapy_splash加载js数据基于Splash来实现的 Splash是一个Javascrapy渲染服务，它是一个实现HTTP API的轻量级浏览器，Splash是用Python和Lua语言实现的，基于Twisted和QT等模块构建 使用scrapy-splash最终拿到的response相当于是在浏览器全部渲染完成以后的网页源代码 2.scrapy_splash的作用 scrpay_splash能够模拟浏览器
Scrapy框架的使用之Scrapy对接Splash_splash_url
最新发布
2401_89224864的博客
12-18 852
可以参考Scrapy-Splash的配置说明进行一步步的配置，链接如下：https://github.com/scrapy-plugins/scrapy-splash#configuration。修改settings.py，配置SPLASH_URL。在这里我们的Splash是在本地运行的，所以可以直接配置本地的地址：如果Splash是在远程服务器运行的，那此处就应该配置为远程的地址。
scrapy_splash组件的使用
qq_41810183的博客
02-03 404
scrapy_splash是scrapy的一个组件scrapy-splash加载js数据是基于Splash来实现的。Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python和Lua语言实现的，基于Twisted和QT等模块构建。使用scrapy-splash最终拿到的response相当于是在浏览器全部渲染完成以后的网页源代码。splash官方文档 https://splash.readthedocs.io/en/stable/
使用Scrapy-Splash实现淘宝免密登录
Show_Rain的博客
08-23 1375
使用Scrapy-Splash实现淘宝免密登录： 总所周知，淘宝的反爬能力较强，笔者试过屏蔽浏览器webdriver但效果不佳，因此另辟蹊径采取cookies免密登录爬取淘宝信息。 创建爬虫后核心代码如下： def get_cookies(self,fp): with open(fp,"r") as f: cookies = json.load(f)...
scrapy-splash 爬取Taobao页面
景霄之上的博客
04-08 624
开发环境 Windows 10 python3 vs code docker docker 安装 下载 Docker Toolbox 具体安装方法请百度, 教程很多, 这里就不多介绍啦 安装 scrapy-splash pip install scrapy-splash 运行 splash 打开 Docker Quickstart Terminal, 输入以下命令: docker...
Scrapy-Splash爬取淘宝排行榜（二）
qq_23849183的博客
04-30 4905
四 开始爬取1.首先分析淘宝排行榜的设置。在这里，商品被分为服饰，数码家电，化妆品，母婴，食品，文体，家具，车|玩具|宠物。而点开每个大类，又可以看到商品被分为很多小类。点开任意小类，往下拉就可以看到该类商品的排行信息，包括销售上升榜，销售热门榜等等。这里我只爬取销售热门榜的内容，所以继续点击销售热门榜的标签。可以看到在这里列出了该类前二十的商品。信息包括：排名，关键词，参考价，成交指数，升降位次。
Scrapy Splash
罗小爬的技术宝书
03-21 1590
参考： https://splash.readthedocs.io/en/stable/ https://github.com/scrapinghub/splash Splash是一个Javascript渲染服务（a javascript rendering service）， 1、可以很方便的通过Docker镜像启动， 2、提供丰富Http Api接口（可替代Lua脚本的编写）， 3、基于Python3中Twisted和QT5实现，提供全异步（fully asynchronous）的渲染服务，且充分利用
scrapy配合scrapy-splash抓取js动态渲染内容
findsafety的专栏
09-10 4296
最近想学习下scrapy-splash，之前用了seleium配合chrome总感觉有点慢，想要研究下scrapy-splash, 那知网上的内容很多不靠谱的。综合了好多文章，终于成功了。记录下，以免遗忘，也做一个正确的指导。 软件环境： win 10 64位 python 3.6 scrapy 1.3.3 scrapy-splash 0.7.2 使用的是anaconda，忘了scrapy...
Python3爬虫中Splash的知识总结
菜鸟教程
12-10 3347
更多编程教程请到：菜鸟教程 https://www.piaodoo.com/ 友情链接： 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/ Splash是一个JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。 1. 功能介绍 ·利用Splash，我们可以实现如下功能： ·异步方式处理多个网页渲染过程； ·获取渲染后的页
[294]爬虫之scrapy-splash
周小董
07-10 9951
什么是splash Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python实现的，同时使用Twisted和QT。Twisted（QT）用来让服务具有异步处理能力，以发挥webkit的并发能力。 目前，为了加速页面的加载速度，页面的很多部分都是用JS生成的，而对于用scrapy爬虫来说就是一个很大的问题，因为scrapy...
第1.8章 scrapy之splash的使用
warrah 南极狼
07-03 1833
centos安装docker 执行docker pull scrapinghub/splash，获取splash镜像 Splash使用初体验 使用splash爬取动态页面，参考scrapy+splash 爬取动态网站(JS) 参考： docker pull不下来镜像是什么原因 Scrapy-Splash爬取淘宝排行榜（一） Scrapy-Splash爬取淘宝排行榜（二） Scrapy
Scrapy爬取淘宝网数据的尝试
热门推荐
shu_8708的博客
08-18 1万+
因为想学习数据库，想要获取较大量的数据，第一个想到的自然就是淘宝。。。。其中有大量的商品信息，淘宝网反爬措施还是比较多，特别是详情页面还有恶心的动态内容 该例子中使用Scrapy框架中的基础爬虫(CrawlSpider还有点没搞清楚= = b) 先贴上整体代码 import scrapy import re import csv import pymongo from tmail.i
Scrapy-Splash的安装(windows篇)
cherish152的博客
01-05 5570
Scrapy-Splash是一个Scrapy中支持Javascript渲染的工具。 Scrapy-Splash的安装分为两个部分，一个是Splash服务的安装，通过Docker，安装后会启动Splash的服务，我们可以通过他的接口来实现JavaScript页面的加载，另一个是Scrapy-Splash的python库的安装，安装之后可在Scrapy中使用Splash。 Docker的安装 ...
scrapy-redis集成scrapy-splash使用教程
zh350229319的专栏
07-28 4714
scrapy-redis集成scrapy-splash
scrapy框架携带cookie访问淘宝购物车功能的实现代码！
爬遍所有网站
07-09 762
scrapy框架简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便 scrapy架构图 crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值