爬虫实例2:手动设置cookie 爬取知乎50条热搜 利用base64库将每一条热搜新闻上的图片内容编码成base64编码

### 爬取知乎热搜榜数据的实现方法 在 Python 中，可以通过 `requests` 库发送 HTTP 请求获取网页内容，并结合 XPath 或正则表达式解析 HTML 数据。为了确保爬虫高效运行并避免被反爬虫机制阻止，可以引入布隆过滤器和哈希算法进行判重[^1]。 以下是一个完整的实现方案，包括请求发送、HTML 解析以及存储结果到 MySQL 的过程： #### 1. 发送请求 使用 `requests` 库模拟浏览器行为，向知乎热搜榜页面发起 GET 请求。需要注意的是，知乎可能对请求头有要求，因此需要设置合适的 User-Agent。 ```python import requests headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get("https://www.zhihu.com/billboard", headers=headers) html_content = response.text ``` #### 2. 解析 HTML 内容 利用 `lxml` 库中的 XPath 方法提取热搜榜的数据。假设每个热搜条目包含标题和热度值，可以根据 HTML 结构编写相应的 XPath 表达式。 ```python from lxml import etree # 将 HTML 转换为 ElementTree 对象 tree = etree.HTML(html_content) # 提取热搜标题和热度 hot_list = tree.xpath("//div[@class='HotList-item']") # 假设这是热搜项的父节点 data = [] for item in hot_list: title = item.xpath(".//a/text()")[0].strip() # 提取标题 heat = item.xpath(".//div[@class='HotList-itemMetrics']/text()")[0].strip() # 提取热度 data.append({"title": title, "heat": heat}) ``` #### 3. 数据存储 将爬取到的数据存储到 MySQL 数据库中。首先需要建立数据库连接，然后插入数据。 ```python import pymysql # 创建数据库连接 connection = pymysql.connect( host="localhost", user="root", password="your_password", database="zhihu_hot", charset="utf8mb4" ) try: with connection.cursor() as cursor: # 创建表（如果不存在） create_table_sql = """ CREATE TABLE IF NOT EXISTS hot_list ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255), heat VARCHAR(50) ) """ cursor.execute(create_table_sql) # 插入数据 for entry in data: insert_sql = "INSERT INTO hot_list (title, heat) VALUES (%s, %s)" cursor.execute(insert_sql, (entry["title"], entry["heat"])) connection.commit() finally: connection.close() ``` #### 4. 反爬虫策略 为了避免频繁访问导致 IP 被封禁，可以在每次请求之间添加随机延时，并使用代理池轮换 IP 地址。 ```python import time import random def random_delay(): time.sleep(random.uniform(1, 3)) # 随机等待 1 到 3 秒 ``` 调用 `random_delay()` 函数以降低请求频率。 --- ### 注意事项 - **布隆过滤器**：用于去重已爬取的 URL，减少重复抓取。可以借助 `pybloom_live` 库实现。 - **哈希算法**：如 `murmurhash`，可用于生成唯一标识符，辅助布隆过滤器工作。 - **合法性**：确保遵守目标网站的 robots.txt 文件规定，尊重其爬虫政策。 ---