用四个案例来学会requests模块！User-Agent 的使用

最新推荐文章于 2024-06-24 15:22:35 发布

弹吉他的羊驼

最新推荐文章于 2024-06-24 15:22:35 发布

阅读量549

点赞数

CC 4.0 BY-SA版权

文章标签： python 爬虫

本文链接：https://blog.csdn.net/qq_43278562/article/details/115397861

本文通过四个实战案例深入巩固requests模块的使用，包括爬取搜狗搜索结果、破解百度翻译、获取豆瓣电影排行榜及抓取国家药品监督总局化妆品许可数据，详细介绍了如何设置User-Agent避免被识别为爬虫。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

requests模块的巩固

实战巩固：（四个案例）

需求1：爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）
需求2：破解百度翻译
需求3：爬取豆瓣电影分类排行榜
需求4：爬取国家药品监督总局中基于中华人民共和国化妆品生产许可证相关数据

需求1： 实现简易的网页采集器。
代码：

import requests
#   UA伪装：
#   UA：User-Agent（请求载体的身份标识）
headers  = {
   
   
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'
}

# 正常访问url应该为 ’https://www.sogou.com/web?query=彭于晏‘
# 现在把后面的