Redis之zset实现滑动窗口限流

本文介绍了如何利用Redis的zset数据结构实现滑动窗口算法进行限流,详细解析了解决方案、pipeline和lua代码实现,确保在指定时间内限制用户行为次数,避免错误设计导致的流量激增。

目录

1、需求

2、常见的错误设计

3、滑动窗口算法

3.1 解决方案

3.2 pipeline代码实现

3.3 lua代码实现


1、需求


限定用户的某个行为在指定时间T内,只允许发生N次。假设T为1秒钟,N为1000次。

2、常见的错误设计


程序员设计了一个在每分钟内只允许访问1000次的限流方案,如下图01:00s-02:00s之间只允许访问1000次,这种设计最大的问题在于,请求可能在01:59s-02:00s之间被请求1000次,02:00s-02:01s之间被请求了1000次,这种情况下01:59s-02:01s间隔0.02s之间被请求2000次,很显然这种设计是错误的。

错误限流.png

3、滑动窗口算法


3.1 解决方案

指定时间T内,只允许发生N次。我们可以将这个指定时间T,看成一个滑动时间窗口(定宽)。我们采用Redis的zset基本数据类型的score来圈出这个滑动时间窗口。在实际操作zset的过程中,我们只需要保留在这个滑动时间窗口以内的数据,其他的数据不处理即可。

  • 每个用户的行为采用一个zset存储,score为毫秒时间戳,value也使用毫秒时间戳(比UUID更加节省内存)

  • 只保留滑动窗口时间内的行为记录,如果zset为空,则移除zset,不再占用内存(节省内存)

zset滑动窗口限流.png

3.2 pipeline代码实现

代码的实现的逻辑是统计滑动窗口内zset中的行为数量,并且与阈值maxCount直接进行比较就可以判断当前行为是否被允许。这里涉及多个redis操作,因此使用pipeline可以大大提升效率

package com.lizba.redis.limit;

import redis.clients.jedis.Jedis;

import redis.clients.jedis.Pipeline;

import redis.clients.jedis.Response;

/**

*     通过zset实现滑动窗口算法限流

  • </
### 滑动窗口限流实现方法 滑动窗口限流是一种常见的流量控制策略,用于限制单位时间内请求的数量。通过 Redis 的 `ZSET` 数据结构,可以高效地实现滑动窗口限流。具体实现的核心思想是将每个请求记录为 `ZSET` 中的一个元素,其中时间戳作为 `score`,保证请求的唯一性,同时利用 `ZSET` 的范围查询能力来统计窗口内的请求数量。 #### 实现步骤 1. **请求记录** 每次请求到达时,使用当前时间戳作为 `score`,并生成一个唯一标识符(如 UUID)作为 `value`,将其添加到 `ZSET` 中。这样可以确保每个请求都有唯一标识,并且可以通过时间戳进行排序。 2. **窗口统计** 使用 `ZRANGEBYSCORE` 命令查询当前时间戳与窗口时间范围内的所有请求。例如,如果窗口大小为 2 秒,则查询当前时间戳减去 2 秒到当前时间戳之间的所有元素,统计数量。 3. **限流判断** 如果查询到的请求数量超过设定的阈值,则拒绝该请求;否则允许请求通过,并将该请求记录到 `ZSET` 中。 4. **自动清理** 由于 `ZSET` 不会自动清理过期的请求记录,因此需要定期清理旧数据,避免存储膨胀。可以通过 `ZREMRANGEBYSCORE` 命令删除超出窗口时间的数据。 #### 代码示例 以下是一个基于 Redis ZSET滑动窗口限流实现示例: ```java import redis.clients.jedis.Jedis; import java.util.Date; import java.util.UUID; public class RedisSlidingWindow { private static final String KEY = "sliding_window"; private static final long WINDOW_SIZE = 2000; // 窗口大小,单位毫秒 private static final int MAX_REQUESTS = 2; // 窗口内最大请求数量 private Jedis jedis; public RedisSlidingWindow(Jedis jedis) { this.jedis = jedis; } public boolean allowRequest() { long currentTime = new Date().getTime(); long windowStart = currentTime - WINDOW_SIZE; // 删除窗口外的旧请求 jedis.zremrangeByScore(KEY, 0, windowStart); // 统计窗口内的请求数量 long requestCount = jedis.zcount(KEY, windowStart, currentTime); if (requestCount >= MAX_REQUESTS) { return false; // 请求超过限流阈值,拒绝请求 } // 将当前请求添加到 ZSET 中 jedis.zadd(KEY, (double) currentTime, UUID.randomUUID().toString()); return true; // 允许请求 } } ``` #### 实现原理说明 - **`ZADD`**:用于将请求添加到 `ZSET` 中,时间戳作为 `score`,确保请求的有序性。 - **`ZRANGEBYSCORE`**:用于查询窗口范围内的所有请求,统计当前窗口内的请求数量。 - **`ZREMRANGEBYSCORE`**:用于清理超出窗口时间的旧请求,避免数据堆积。 - **UUID**:保证每个请求的唯一性,防止重复请求被误判。 #### 优化建议 - **性能优化**:在高并发场景下,可以考虑使用 Lua 脚本来减少 Redis 的网络往返次数,提高性能。 - **存储优化**:由于 `ZSET` 会占用较多内存,可以考虑设置过期时间或定期清理旧数据,减少存储压力。 - **分布式支持**:在分布式系统中,可以将限流逻辑与 Redis 集群结合,实现跨节点的限流控制。 通过上述方法,Redis 的 `ZSET` 数据结构可以有效地实现滑动窗口限流算法,适用于高并发场景下的流量控制需求。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值