Python 爬虫之GRequests异步模块

最新推荐文章于 2025-04-30 12:27:51 发布

甄超锋

最新推荐文章于 2025-04-30 12:27:51 发布

阅读量4.1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： grequests python 异步 requests 非阻塞

本文链接：https://blog.csdn.net/Mr_Zhen/article/details/91812974

本文介绍了Python爬虫中用于异步非阻塞请求的GRequests库，该库基于gevent和requests，适合高效批量处理网络请求。在Windows 10环境下，Python 3.6.6版本下进行演示，包括安装步骤和基本用法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python 爬虫之GRequests异步模块

十分想念顺店杂可。。。

运行环境：

系统： win10

Python版本： Python 3.6.6

GRequests是异步非阻塞的异步请求第三方包，使用了协程gevent，GRequests封装了gevent的requests模块。

安装：

pip install grequests

简单使用

# -*- coding: utf-8 -*-
# @Time    : 2019/6/13 10:02
# @Author  : 甄超锋
# @Email   : [email protected]
# @File    : test.py
# @Software: PyCharm

import grequests

urls = [
    'http://www.heroku.com',
    'http://python-tablib.org',
    'http://httpbin.org',
    'http://python-requests.org',
    'http://fakedomain/',
    'http://kenneth