创建redis集群

### 创建和配置 Redis 集群 #### 1. 主从模式配置 在主从模式下，Redis 的数据同步通过一个主节点（Master）和多个从节点（Slave）实现。以下是具体的配置方法： - **主节点配置** 编辑 `redis.conf` 文件，在主节点上启用持久化功能并指定端口号。例如： ```bash port 6379 save 900 1 save 300 10 rdbcompression yes dbfilename dump.rdb dir /var/lib/redis/ ``` 这些参数用于定义保存 RDB 文件的时间间隔以及存储路径[^1]。 - **从节点配置** 在从节点的 `redis.conf` 中添加以下内容来指向主节点： ```bash slaveof <master-ip> <master-port> ``` 替换 `<master-ip>` 和 `<master-port>` 为主节点的实际 IP 地址和端口。 - **测试主从复制** 启动主节点和服务后，可以通过向主节点写入键值对，并验证这些数据是否自动同步到从节点来进行测试。 #### 2. 集群模式配置 对于更复杂的场景，可以采用 Redis Cluster 架构支持分布式部署。以下是具体步骤： | 步骤 | 描述 | |------|------| | 引入依赖 | 如果是在 Java 应用程序中集成，则需加入 Maven 或 Gradle 的 Redis 客户端库，比如 Jedis 或 Lettuce [^2]。 | | 配置连接信息 | 设置 Redis 节点地址列表，通常以数组形式表示，形如 `[host:port, host:port,...]` 。 | | 配置集群节点信息 | 明确各分片的角色及其关联关系 。 | | 使用连接池管理资源 | 提高性能的同时减少频繁建立断开链接带来的消耗 [^2]。 | 实际命令行操作如下所示： ```bash # 初始化六个实例作为三个主节点加三个副本节点的基础环境 redis-server --cluster-enabled yes --port 7000 --cluster-config-file nodes_7000.conf --appendonly yes & ... redis-cli --cluster create 127.0.0.1:7000 ... 127.0.0.1:7005 --replicas 1 ``` 上述脚本会启动若干服务进程并将它们组合成一个完整的 cluster 实体。 #### 3. Scrapy 结合 Redis Sentinel 部署 当爬虫框架需要利用 Redis 做去重或者队列共享时，可借助哨兵机制进一步增强系统的可用性和稳定性。下面是一个简单的例子展示了如何继承自 `scrapy_redis_sentinel.RedisSpider` 类型完成定制化的 Spider 开发工作[^3]: ```python from scrapy_redis_sentinel.spiders import RedisSentinelSpider class ExampleSpider(RedisSentinelSpider): name = 'example' redis_key = 'myqueue:start_urls' def parse(self, response): yield {'url': response.url} ``` 此代码片段表明了怎样基于现有的 sentinel 支持扩展原有逻辑从而适应多机房跨区域协作的需求。