记录一次Node.js编写爬虫的经历

在当今数字化的时代，数据的获取和管理变得越来越重要。本文将介绍如何使用 Node.js 实现从学院官网获取图片和新闻标题，并将其存储到 MySQL 数据库中。（如果你不想使用MySQL的话，后文有关于单独不储存到MYSQL数据库的详细说明）

一、背景与目标

        我们的目标是从学院官网中提取所有的图片和特定板块的新闻标题，然后将这些数据保存到 MySQL 数据库中，以便后续的分析和使用。通过这个过程，我们可以更好地了解学院的动态信息，同时也展示了 Node.js 在网络数据爬取和数据库操作方面的强大能力。

        页面如下 准备爬取该新闻的标题以及内容（包括图片）

        我的学校的新闻站点和图片

检查学校官网查看源代码，发现其ID选择器名称，这为后面的读取提供了极大便利。

二、技术栈

1. Node.js：使用 Node.js 的https模块来发送 HTTP 请求，获取学院官网的页面内容。
2. Cheerio：一个类似于 jQuery 的库，用于在服务器端解析 HTML 页面，方便提取所需的数据。
3. MySQL：用于存储爬取到的新闻标题，通过mysql模块进行数据库连接和操作。

三、代码实现过程

          首先，我们配置了项目所需的模块，包括https、cheerio、fs（文件系统模块）、path和mysql。我们还设置了学院官网的 URL 和一个用于存储下载图片的本地目录。
检查并创建download目录，如果该目录不存在。这个目录将用于存储从学院官网下载的图片。
配置 MySQL 连接，指定数据库的主机、用户名、密码和数据库名称。成功连接到数据库后，会在控制台打印相应的消息。
使用https.get方法发送 HTTP 请求到学院官网。在请求的响应中，我们收集页面的 HTML 内容。
使用 Cheerio 加载 HTML 内容，以便进行数据提取。

        请注意：

        （1）在vscode中,,你需要引入cheerio库函数，该函数是Cheerio 就像是服务器端的 jQuery。它可以在 Node.js 环境中解析 HTML 文档，让你能够以类似于使用 jQuery 的方式来操作和提取 HTML 中的元素和数据。但是该函数支持的Node.js版本挺高，笔者在完成作业时发现自身的版本并不适合，所以需要下载高版本的Node.js(最好是最新的，以防止后期需要下载插件的时候不匹配)。