scrapy_redis主机setting配置、从机setting配置、redis.conf配置中更改参数

最新推荐文章于 2022-12-06 14:21:38 发布

酱汁儿999

最新推荐文章于 2022-12-06 14:21:38 发布

阅读量367

点赞数

CC 4.0 BY-SA版权

分类专栏：学习笔记文章标签： scrapy redis scrapy_redis配置

本文链接：https://blog.csdn.net/qq_44670803/article/details/96287629

学习笔记专栏收录该内容

41 篇文章

订阅专栏

本文介绍如何使用 Scrapy-Redis 构建分布式爬虫系统，包括主机和从机的 setting 配置细节，如调度器、URL去重、管道设置等，并涉及 Redis 相关配置及 MongoDB 数据库索引设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

主机setting配置：

###配置scrapy-redis调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"

###配置url去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
ITEM_PIPELINES = {
	'scrapy_redis.pipelines.RedisPipeline': 300
}
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'

###主机名
REDIS_HOST = 'localhost'

##端口号
REDIS_PORT = 6379

从机setting配置：

SCHEDULER = "scrapy_redis.scheduler.Scheduler"

# 去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

#爬取结束后，仍自动清空redis库
SCHEDULER_PERSIST = True
# ITEM_PIPELINES = {
#     'scrapy_redis.pipelines.RedisPipeline': 300
# }
REDIS_HOST = '10.10.86.254'
REDIS_PORT = 6379
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'

#获取本机ip代码
myname = socket.gethostbyname(socket.gethostname())

#需要在redis.conf配置中更改的参数

1.bind 127.0.0.1改为 #bind 127.0.0.1  （不绑定ip地址）
2.protected-mode yes 改为 protected-mode no
3.加入 daemonize no(这个是是否在后台启动不占用一个主程窗口)
protected-mode no
daemonize no
redis-cli.exe -h 192.168.1.5 -p 6379

#设置mongodb数据库索引
db.集合名.ensureIndex({“要设置索引的列名”:1},{“unique”:1})

#爬取结束后，仍自动清空redis库
SCHEDULER_PERSIST = True