requests 库 get 方法详解(实验楼学习笔记1)

本文详细介绍了Python requests库的get方法,包括主要参数如url、headers、params等,并重点解析了headers参数,尤其是user-agent在反爬中的作用。同时提到了proxies参数用于设置代理IP以避免IP被封禁。建议读者通过实验熟悉get方法的所有参数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
r


前言

requests.get 方法是一种发起网络请求的方式,如果你对 HTML 和 JS 语言有所了解,这部分内容应该非常熟悉,和 get 方法类似的还有 post、 put、 delete、 head、 options,主要掌握get 与 post


提示:以下是本篇文章正文内容,下面案例可供参考

一、主要参数

对于一个方法而言,最重要的就是它的参数,在 get 方法中,主要参数如下:

url, 请求地址,必填项
headers,请求头,非必填
params,请求参数,非必填
proxies,代理 IP,非必填
verify,SSL 验证,非必填,主要用在访问 https 协议的网站
timeout,延迟限制,非必填
cookies,网页 cookies,非必填

以上参数中只有 url 参数是必填项,所以对于访问一个网站网址,你可以直接采用下面的代码进行首次尝试。如果不能获取到数据,在考虑增加其它参数,常见的操作是增加请求头,增加代理,增加 cookies 等。

二、get 核心参数 headers

增加请求头最大的价值是可以让爬虫抓取数据时更加像浏览器在进行访问,针对此,首先增加的是 UA 参数,全称叫做 user-agent 。

第一讲提及过一个名词叫做反爬,就是被爬取的网站会采取一些措施,防止自己的数据被爬虫获取,而最常见的措施之一,就是检测请求头中的 UA 参数。UA 参数是一个特殊字符串,简单说,它会携带用户使用的操作系统版本、CPU 类型、浏览器版本、浏览器语言等等内容提供给服务器,服务器依据这些内容判断该请求是否是正常请求,甚至可以通过 UA 去检测一个请求是

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值