java语言实现的WEB爬虫平台(1)

一个java语言实现的WEB爬虫平台，以图形化方式定义爬虫流程，无需代码即可实现一个爬虫。

主要功能

功能特性

1、支持css选择器、正则提取

2、支持JSON/XML格式

3、支持Xpath/JsonPath提取

4、支持多数据源、SQL select/insert/update/delete

5、支持爬取JS动态渲染的页面

6、支持代理

7、支持二进制格式

8、支持保存/读取文件(csv、xls、jpg等)

9、常用字符串、日期、文件、加解密、随机等函数

10、支持流程嵌套

11、支持插件扩展(自定义执行器，自定义函数、自定义Controller、类型扩展等）

12、支持HTTP接口

安装部署

一、准备环境

1、安装JDK

2、安装MYSQl数据库服务器，建议使用5.7版本

3、安装maven3.0服务

二、运行项目

1、前往码云下载页面(https://gitee.com/jmxd/spider-flow)下载解压到工作目录

2、设置Eclipse仓库，菜单Window->Preferences->Maven->User Settings->User Settings 后边的Browse,然后导入自己的Maven目录的conf目录下的settings.xml文件，然后点Apply,在点OK

3、导入到Eclipse,菜单file->Import,然后选择Maven->Existing Maven Projects,点击Next>按钮，选择工作目录，然后点击Finish按钮，即可导入成功

4、导入数据库,基础表：spider-flow/db/spiderflow.sql

5、打开并运行org.spiderflow.SpiderApplication.java

6、打开浏览器，输入(http://localhost:8088/)

三、引入插件

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此收集整理了一份《2024年Web前端开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点！不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门！

如果你觉得这些内容对你有帮助，需要这份全套学习资料的朋友可以戳我获取！！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
s.csdn.net/topics/618191877)

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！