- 博客(4)
- 收藏
- 关注
原创 分布式爬虫系统平台
1.支持基于服务器路径的任务下发/url文本下发2.支持网页,图片,视频,pdf, 音频等多种文件类型下载3.支持get,post,head等多种请求方式4.支持普通爬取,强制爬取,覆盖爬取,cookie池,瑞数等抓取方式5.支持robots.txt协议检测6.支持ua切换7.支持代理切换8.支持playwright渲染爬虫,执行js脚本9.支持mongoDB, MySQL, Redis等多种数据库存储10.支持爬虫压力控制11.支持失败重试12.支持定时更新13.支持分布式爬虫。
2025-05-27 09:32:52
909
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人