springboot 反爬

### Spring Boot 中实现反爬虫策略的方法 在现代 Web 开发中，防止恶意爬虫攻击是一个重要的安全需求。Spring Boot 提供了多种方式来实现反爬虫机制，从而有效保护应用免受未经授权的数据抓取行为的影响。 以下是几种常见的反爬虫方法及其在 Spring Boot 中的具体实现： #### 1. User-Agent 检测 通过拦截器或过滤器检查请求头中的 `User-Agent` 字段，判断其合法性。如果发现异常的 `User-Agent` 或者缺失该字段，则拒绝访问。 ```java import javax.servlet.*; import javax.servlet.http.HttpServletRequest; import java.io.IOException; public class AntiCrawlerFilter implements Filter { @Override public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException { HttpServletRequest httpRequest = (HttpServletRequest) request; String userAgent = httpRequest.getHeader("User-Agent"); if (userAgent == null || !isValidUserAgent(userAgent)) { // 自定义校验逻辑 ((HttpServletResponse) response).sendError(403); // 返回错误状态码 return; } chain.doFilter(request, response); } private boolean isValidUserAgent(String userAgent) { // 定义合法的 User-Agent 列表或者正则表达式匹配规则 return true; // 示例返回值 } } ``` 此代码片段展示了如何创建自定义过滤器以验证 `User-Agent` 的有效性[^1]。 --- #### 2. 验证码机制 对于敏感操作（如登录、注册），可以通过引入验证码进一步增强安全性。Spring Boot 支持集成第三方库生成图形验证码或将验证码嵌入到前端页面中。 ```xml <!-- Maven 依赖 --> <dependency> <groupId>com.github.penggle</groupId> <artifactId>kaptcha</artifactId> <version>2.3.2</version> </dependency> ``` 随后，在控制器层处理验证码生成与验证逻辑： ```java @RestController @RequestMapping("/captcha") public class CaptchaController { @GetMapping("/generate") public ResponseEntity<String> generateCaptcha(HttpSession session) { String captchaText = CaptchaUtil.generateRandomCode(); // 使用工具类生成随机字符串 session.setAttribute("captcha", captchaText); byte[] imageBytes = CaptchaUtil.createImage(captchaText); // 将文字转换成图片数据流 return ResponseEntity.ok(Base64.getEncoder().encodeToString(imageBytes)); } @PostMapping("/validate") public ResponseEntity<Boolean> validateCaptcha(@RequestBody Map<String, Object> payload, HttpSession session) { String userInput = (String) payload.get("code"); String storedCaptcha = (String) session.getAttribute("captcha"); if (!userInput.equals(storedCaptcha)) { return ResponseEntity.badRequest().body(false); } return ResponseEntity.ok(true); } } ``` 上述示例说明了如何利用会话存储临时验证码并完成客户端提交后的校验工作[^3]。 --- #### 3. 访问频率控制 借助 Redis 设置滑动窗口限流算法或其他类似的速率限制方案，能够有效遏制高频次请求的发生。 ```java @Component public class RateLimiterService { private final StringRedisTemplate redisTemplate; public RateLimiterService(StringRedisTemplate redisTemplate) { this.redisTemplate = redisTemplate; } public boolean isAllowed(String key, int maxRequestsPerMinute) { long currentTimeMillis = System.currentTimeMillis(); String timeKey = "rate_limit:" + key + ":" + currentTimeMillis / 60_000; ValueOperations<String, String> ops = redisTemplate.opsForValue(); Long count = redisTemplate.boundValueOps(timeKey).increment(); if (count == 1) { redisTemplate.expireAt(timeKey, new Date(currentTimeMillis + 60_000)); // 过期时间设置为一分钟 } return count <= maxRequestsPerMinute; } } ``` 调用时只需传入唯一标识符作为键名即可判定当前 IP 地址是否超出允许范围。 --- #### 4. 动态内容加载 采用 JavaScript 渲染部分网页结构而非直接暴露静态 HTML 文件给浏览器解析的方式也能显著增加自动化脚本获取目标资源的成本。 例如结合 Thymeleaf 和 AJAX 技术分批异步拉取列表项等内容展示形式便属于此类范畴之一[^5]。 --- 综上所述，针对不同场景可选用合适的手段加以防范；当然实际项目里往往还需要考虑性能损耗等因素权衡利弊后再做决定。