基于Scrapy的Flask+AngularJs作业爬虫搭建指南

本段信息介绍了名为“zjobs”的一个作业爬虫应用程序的部署和运行流程。这个应用程序利用了Python编程语言，并结合了Flask框架和AngularJs进行前端开发，以及Scrapy框架来执行后端爬虫任务。接下来，我将详细阐述这些技术点及相关知识点。 ### Flask Flask 是一个轻量级的 Python Web 应用框架，它的设计目标是保持核心简单，同时易于扩展。它是基于Werkzeug WSGI工具和Jinja2模板引擎的。Flask本身是非常灵活的，可以通过多种方式来扩展其功能，比如通过中间件来增加安全措施、通过模板继承和宏来提高代码复用率等。在这个项目中，Flask可能被用于处理Web服务器的请求，提供一个RESTful API接口供前端调用。 ### AngularJs AngularJs是一个基于JavaScript的开源前端框架，由谷歌维护。它主要用于构建单页Web应用程序（SPA）。AngularJs通过使用HTML作为模板语言，允许开发者扩展HTML的语法来表达应用程序组件。它的两个核心概念是数据绑定和依赖注入。数据绑定可以实现页面与模型之间的数据同步，依赖注入则增强了模块之间的解耦和重用。 ### Scrapy Scrapy是一个用Python编写的快速高级网页爬取和网页抓取框架，用于爬取网站并从页面中提取结构化的数据。它被广泛应用于数据挖掘、信息处理或历史存档等领域。Scrapy使用Twisted异步网络框架来处理网络通信，这使得它非常高效。此外，Scrapy还提供了一些高级功能，例如自动处理Cookies和Session、表单填充和提交等。 ### 使用步骤解析 1. **使用virutalenv创建虚拟环境**：这是一个非常实用的做法，用于隔离项目依赖。`virtualenv`创建了一个虚拟的Python环境，使得项目依赖不会与其他项目或系统级别的Python库发生冲突。通过命令`source <virtual>/bin/activate`激活虚拟环境。 2. **通过pip安装依赖**：使用`pip install -r requirements.txt`命令安装应用程序所需的依赖包，这些依赖被列在`requirements.txt`文件中。 3. **进入项目目录**：通过命令`cd <project>`切换到项目目录下。 4. **启动应用程序**：使用`foreman start`命令来启动应用程序。Foreman是一个用于管理 Procfile 应用程序的工具，Procfile 是一个用于声明应用程序进程的文件。 5. **访问应用程序**：通过在浏览器输入`http://0.0.0.0:<PORT>`来访问运行在本地的Flask服务器。 6. **安装为命令行工具**：通过`python setup.py install`将应用程序安装为一个命令行工具。这通常意味着应用将会被安装到系统的PATH环境变量中，可以在命令行中直接运行应用提供的命令。 7. **设置环境配置**：通过`export DB_HOST=<Your db host. default>`来设置数据库主机的环境变量，这个变量将会影响应用程序连接到数据库的地址。 ### 小结 “zjobs”作业爬虫应用程序是一个使用Python、Flask、AngularJs和Scrapy构建的爬虫工具，适用于在特定时间（每天22:30）抓取工作站点数据。它的部署涉及虚拟环境管理、依赖安装、服务启动、命令行工具安装以及环境变量配置等步骤。这些知识点对于进行Web开发、爬虫开发以及了解相关部署流程的开发者来说非常重要。