【爬虫】Web基础——响应头、请求头、http&https、状态码(内含相关资源链接)

本文介绍了网络爬虫的基本原理,包括如何模拟浏览器发送请求和接收响应。讲解了常见的请求头如User-Agent和Referer,以及响应头如Content-Type和Set-Cookie。还讨论了HTTP状态码,如200、404和500,以及HTTP与HTTPS的区别。此外,文章还提到了Cookie的使用和管理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1 爬虫初步

网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端(主要指浏览器)发送网络请求,接收请求响应,一种按照一定的规则,自动地抓取互联网信息的程序。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rdY0yiTe-1627002815762)(https://gimg2.baidu.com/image_search/src=https%3A%2F%2F2.zoppoz.workers.dev%3A443%2Fhttp%2Fimg.kanzhun.com%2Fimages%2Fseo%2Fmianshiti%2F20191125%2F529e60d55907b1fab58010ea8fab7376.jpg&refer=https%3A%2F%2F2.zoppoz.workers.dev%3A443%2Fhttp%2Fimg.kanzhun.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1629592183&t=4456f3af39bbb445ae4ae4e7d21aefac)]

2 请求头和响应头

2.1 常见请求头解析

下面尝试访问百度首页

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jRxbYcUF-1627002815796)(【Python爬虫】Web基础.assets/image-20210723083506547.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-95IkYWAN-1627002815816)(【Python爬虫】Web基础.assets/image-20210723083443222.png)]

  • Host :用于指定被请求资源的Internet主机和端口号

  • Connection (连接类型)

    • 关闭TCP连接
    • 长连接(Keep-alive),默认情况
评论 75
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

火柴先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值