个人课设基于Flask的Python全国招聘岗位就业可视化系统源码+项目部署说明+详细注释.zip

【资源说明】 基于Flask的Python全国招聘岗位就业可视化系统源码+项目部署说明+详细注释.zip 1、该资源内项目代码都是经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能。 1 开发环境** * 1 系统：Window 10 家庭中文版。 * 2 语言：Python（3.8.5）、MySQL（5.5）。 * 3 Python所需的库：flask、pymysql、pandas、numpy、time、datetime、requests、etree、jieba、re、json、decimal（没有的话pip或conda安装一下~）。 * 4 编辑器：jupyter Lab（jupyter notebook）、Pycharm（主用）、Navicat。 2 运行说明** 本项目下面有五个.py的文件，下面分别阐述各个文件所对应的功能：<br> * 1 data_collection：分别从前程无忧网站和猎聘网上以关键词`job_name`爬取相关数据。其中，前程无忧爬取的数据主要用来进行相关图表的绘制；而猎聘网上主要为岗位要求文本数据，这部分进行词云的可视化展示。 * 2 data_clean：对爬取到的数据进行清洗，包括去重去缺失值、变量重编码、特征字段创造、文本分词等。 * 3 data_store：将清洗后的数据全部储存到`MySQL`中，其中对文本数据使用`jieba.analyse`下的`extract_tags`来获取文本中的关键词和权重大小，方便绘制词云。 * 4 utils：大多为app调用MySQL数据库中的工具类函数；同时，里面也有引用data_collection、data_clean、data_store等函数，我们也主要使用该工具类进行岗位数据的爬取、清洗和存储。 * 5 app：使用`Python`一个小型轻量的`Flask`框架来进行`Web`可视化系统的搭建，在static中有css和js文件，js中大多为百度开源的[ECharts](https://echarts.apache.org/examples/zh/index.html)，再通过自定义`controller.js`来使用ajax调用flask已设定好的路由，将数据异步刷新到templates下的`main.html`中。 * 6 如何运行：先运行utils，提前进行数据采集、数据清洗、数据存储操作，之后更改app修改好`datatable`和`job_name`，这部分信息务必与utils中输入的保持一致（因为发现app一运行的话就会直接给出网页，所以没法在控制台上同步将变量赋值过去*_*）。 * 7 温馨提示：由于我在数据采集部分使用了一个用redis搭建的代理IP池，所以一开始运行的话需要将里面的proxies删掉，使用time.sleep即可（使用代理池能防止被封IP，同时可以更快爬取数据，实现可视化操作）。 3 你将会学到** * 1 Python爬虫：盗亦有道，掌握requests和xpath的相关用法。 * 2 数据清洗：能详细知道项目中数据预处理的步骤，包括去重去缺失值、变量重编码、特征字段创造和文本数据预处理，玩转pandas、numpy相关用法。 * 3 数据库知识：select、insert等操作，掌握pymysql相关用法。 * 4 前后端知识：了解到HTML、JQuery、JavaScript、Ajax的相关用法。 * 5 Flask知识：能快速建立起一个轻量级的Web框架，利用Python实现前后端交互。