爬虫开发网络基础知识.docx

### 爬虫开发网络基础知识 #### 一、HTTP与HTTPS协议详解 1. **HTTP（HyperText Transfer Protocol）** - **定义**: HTTP是一种应用层协议，用于从Web服务器传输超文本到本地浏览器的传输协议。它采用TCP作为传输层协议，使用端口号80。 - **特性**: - 明文传输：所有数据均以明文形式在网络上传输，容易被监听和截获。 - 无状态：HTTP协议本身不保存客户端的状态信息，即每一次请求都是独立的。 - **应用场景**: - 非敏感数据传输：如公开新闻资讯、普通网页浏览等。 2. **HTTPS（HTTP Secure）** - **定义**: HTTPS是在HTTP的基础上加入SSL/TLS协议层，用于保障数据的安全性和完整性。使用端口号443。 - **特性**: - 安全传输：通过SSL/TLS加密机制确保数据在传输过程中的安全性。 - 身份验证：通过数字证书验证服务器身份，防止中间人攻击。 - **应用场景**: - 敏感数据传输：如银行交易、在线支付、登录验证等。 3. **HTTP与HTTPS的主要区别**: - **证书**: - HTTP无需证书。 - HTTPS需要从CA（Certificate Authority）获取证书，一般需要付费。 - **传输安全性**: - HTTP明文传输，易于被窃听。 - HTTPS加密传输，更安全。 - **连接方式**: - HTTP基于简单无状态连接。 - HTTPS建立在SSL/TLS之上，有更高的安全性。 - **端口**: - HTTP使用80端口。 - HTTPS使用443端口。 - **性能**: - HTTP连接更快，但安全性较差。 - HTTPS连接更慢，但安全性更高。 #### 二、HTTP请求头详解 - **Request URL**: 请求的目标URL地址。 - **Requests Method**: 请求方法（GET、POST等）。 - **Status Code**: 响应状态码，用于表示请求结果的状态。 - **常见状态码**: - **200 OK**: 请求成功。 - **301 Moved Permanently**: 永久重定向。 - **302 Found**: 临时重定向。 - **304 Not Modified**: 请求资源未改变。 - **400 Bad Request**: 错误的请求。 - **403 Forbidden**: 禁止访问。 - **404 Not Found**: 请求资源不存在。 - **405 Method Not Allowed**: 不允许的请求方法。 - **500 Internal Server Error**: 服务器内部错误。 - **502 Bad Gateway**: 无效的网关或代理服务器响应。 - **Referrer Policy**: 控制referrer信息的传递策略。 - **Accept**: 指明客户端可接受的内容类型。 - **Accept-Encoding**: 指明客户端可接受的压缩编码方式。 - **Accept-Language**: 指明客户端可接受的语言。 - **Cache-Control**: 指示缓存行为。 - **Connection**: 指定连接的行为，如keep-alive保持连接。 - **Cookie**: 存储客户端信息，用于用户状态跟踪。 - **Host**: 请求的目标主机。 - **User-Agent**: 描述客户端软件信息。 - **DNT**: Do Not Track标识，表明用户是否希望被追踪。 #### 三、Cookies机制 - **定义**: Cookies是一种在客户端存储信息的小型文件，用于保存用户的会话信息。 - **作用**: - 用户状态跟踪：记录用户的登录状态。 - 个性化设置：保存用户的个性化偏好设置。 - **组成**: - **Key-Value形式**: 如`username=John`。 - 多个键值对通过分号分隔。 - **使用场景**: - 登录状态保持。 - 购物车功能。 #### 四、HTML与JSON 1. **HTML（HyperText Markup Language）** - **定义**: HTML是一种标记语言，用于创建网页结构。 - **作用**: - 定义文档结构。 - 表示文本、图像等内容。 2. **JSON（JavaScript Object Notation）** - **定义**: JSON是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。 - **语法**: - **键值对**形式，例如`{"name":"John"}`。 - 支持**数组**和**对象**。 #### 五、Ajax技术 - **定义**: Ajax（Asynchronous JavaScript and XML）是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。 - **原理**: - 发起**异步请求**获取数据。 - 通过**JavaScript**处理并更新DOM。 - **优点**: - 提升用户体验：页面不会因数据加载而刷新。 - 减少服务器负担：只传输必要的数据。 以上内容涵盖了爬虫开发过程中涉及到的关键网络基础概念和技术要点，有助于更好地理解网络数据传输的基本原理以及如何高效地获取和处理这些数据。