python爬虫学习(一) requests模块

原创已于 2022-02-24 20:10:56 修改 · 799 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #学习

于 2022-02-24 20:10:33 首次发布

python爬虫专栏收录该内容

5 篇文章

订阅专栏

本文介绍了Python中的requests模块，这是一个强大的网络请求库，用于模拟浏览器发送HTTP请求。通过简单的四步流程——指定URL、发起请求、获取响应数据和持久化存储，可以方便地抓取网页内容。示例代码展示了如何使用requests模块爬取并保存sogou.com的页面到本地文件。掌握requests模块，能高效地进行网页抓取任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

requests模块: python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。作用:模拟浏览器发请求。

如何使用:(requests模块的编码流程)
一指定url
一发起请求
一获取响应数据
-持久化存储

环境安装:

pip install requests

在这里插入图片描述
或者在pycharm里面安装

编写代码爬取

#-- coding:UTF-8 --
import sys
reload(sys)
sys.setdefaultencoding('utf8')
import requests
if __name__ == '__main__':
    #1.指定url
    url='https://www.sogou.com/'
    #2.发起请求,获取响应对象
    response =  requests.get(url=url)
    #3.获取响应数据,为字符串形式
    page_text =  response.text
    print (page_text)
    #4.存储到本地
    with open('./sogou.html','w') as fp:
        fp.write(page_text)
    print ('爬取过程结束')