带你们了解python协议

最新推荐文章于 2025-01-13 15:50:26 发布
最新推荐文章于 2025-01-13 15:50:26 发布
阅读量715 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59998445/article/details/119574939
本文深入探讨了Python中的协程概念，解释了协程如何作为轻量级的微线程提升性能，减少了上下文切换的开销。同时，文章介绍了Python实现协程的方式，包括async/await语法，并展示了并发执行任务的例子。最后，通过实战案例爬取彼岸图网，演示了如何在实际项目中运用协程抓取和处理数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天为大家带来的内容是协程概念的详解以及配套实战内容。

协程

协程的概念

协程，又称作是微线程，协程是一种用户态的轻量级编程。

其实，怎么样来理解会更好一些呢？

我这样说吧，线程是系统级别的，它们由操作系统调度；协程是程序级别的，由程序员根据自己的需求去调度。我们把线程中一个个函数叫做子程序，那么子程序在执行过程中可以中断，然后去执行别的子程序；别的子程序也可以中断回来继续执行之前的子程序，这就是协程。也就是说，在同一个线程下的一段代码，在执行的过程中，有可能会发生中断，然后跳去执行另一段代码，当再次回来执行之前的代码块的时候，就从之前中断的地方开始执行。

协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切换回来的时候，恢复之前保存的寄存器上下文和栈。因此：协程可以保留上一次调用时的状态，每次过程重入的时候，就相当于进入上一次调用的状态。换种说法就是进入上一次离开时所处逻辑留的位置。

协程的优点

  • 协程不需要像线程一样存在上下文切换的开销，避免了无意义的调度，由此可以提高性能。

  • 无需原子操作锁定及同步的开销

  • 方便切换控制流，简单化编程模型

  • 高并发+高拓展性+低成本：一个CPU支持上万的协程都不是问题，所有很合适用于高并发处理。

协程的缺点

  • 无法利用多核资源：协程的本质是单线程，因此它不能将单个CPU的多个核都用上，协程需要和进程配合才能运行在多核CPU上。

  • 进行阻塞操作时会阻塞掉整个程序

python如何实现协程

协程是通过async/await语法进行声明，是编写asyncio应用的推荐方式。具体代码，如下所示：

import asyncio


async def main():
 print('hello')
 await asyncio.sleep(5)
 print('world')


asyncio.run(main())

关键字await有两个作用，一是作为求值的关键字，二是将异步操作变为同步操作；如果方法中使用了await，那么在方法的前面就必须加上async。

一般来说，正常的函数在执行的时候是不会被中断的，所有想要写一个可以中断的函数，就需要添加async。

像上面的代码，await asyncio.sleep(5),就是说这个程序被挂起5秒，5秒后再回来执行程序。

await用来声明程序挂起，比如异步程序执行到某一步时需要等待很长的时间，就将挂起，去执行其他异步程序，当挂起条件消失之后，不管当前程序是否执行完毕，都必须退出，去执行之前的程序。

asyncio.run()函数用来运行最高层级的入口点“main()”函数。

等待协程

import asyncio
import time


async def say_after(delay, what):
 await asyncio.sleep(delay)
 print(what)


async def main():
 print(f'start at {time.strftime("%X")}')

 await say_after(2, 'hello')
 await say_after(2, 'world')

 print(f'finish at {time.strftime("%X")}')

asyncio.run(main())

运行结果，如下所示：

start at 13:59:21
hello
world
finish at 13:59:25

多任务协程

使用create_task()函数用来并发运行作为asyncio任务的多个协程。如何并发运行两个任务呢？

具体代码，如下所示：

import asyncio
import time


async def say_after(delay, what):
 await asyncio.sleep(delay)
 print(what)


async def main():
 task1 = asyncio.create_task(say_after(2, 'hello'))
 task2 = asyncio.create_task(say_after(2, 'world'))
 print(f'start at {time.strftime("%X")}')

 await task1
 await task2

 print(f'finish at {time.strftime("%X")}')

asyncio.run(main())

运行结果，如下所示：

start at 16:28:53
hello
world
finish at 16:28:55

预期的显示输出时间比之前快了2秒。

可等待对象

如果一个对象可以在await语句中使用，那么它就是可等待对象，可等待对象一共有三种类型：协程、任务与Future。

协程属于python的可等待对象，因此可以在其他协程中被等待，具体代码，如下所示：

import asyncio


async def nested():
 return 42


async def main():
 nested() # 报错
 print(await nested()) # 正常


asyncio.run(main())

对于上面的代码，有一点要注意，那就是当我们创建了一个协程方法时，需要调用，就一定要用关键字await。

协程函数指的是：定义形式为async def的函数。

协程对象指的是：调用协程函数所调用的对象。

任务用来并行的调度协程，当一个协程通过create_task()等函数封装为一个任务，该协程会被自动调度执行。

具体代码，如下所示：

import asyncio


async def nested():
 return 42


async def main():
 task = asyncio.create_task(nested())
 await task


asyncio.run(main())

而Future是一种低层级的对象，表示一个异步操作的最终结果。当一个Future对象被等待，这意味着协程将保持等待直到该Future对象在其他地方操作完毕。通常情况下没有必要在应用级的代码中创建Future对象。

并发运行任务

具体代码，如下所示：

import asyncio


async def factorial(name, number):
 f = 1
 for i in range(1, number+1):
  print(f'Task {name}: Compute factorial({number}), currrently i = {i}...')
  await asyncio.sleep(1)
  f *= i
 print(f'Task {name}: factorial({number}) = {f}')
 return f


async def main():
 L = await asyncio.gather(factorial('A', 2), factorial('B', 3), factorial('C', 4))
 print(L)


asyncio.run(main())

运行结果，如下所示：

Task A: Compute factorial(2), currrently i = 1...Task B: Compute factorial(3), currrently i = 1...Task C: Compute factorial(4), currrently i = 1...Task A: Compute factorial(2), currrently i = 2...Task B: Compute factorial(3), currrently i = 2...Task C: Compute factorial(4), currrently i = 2...Task A: factorial(2) = 2Task B: Compute factorial(3), currrently i = 3...Task C: Compute factorial(4), currrently i = 3...Task B: factorial(3) = 6Task C: Compute factorial(4), currrently i = 4...Task C: factorial(4) = 24[2, 6, 24]

通过gather()方法，可以将一个协程对象作为任务调度，当所有的可等待对象都已经完成，结果将是由一个所有值聚合而成的列表。

实战-彼岸图网

图片

image-20210808025920195

如上图所示，本次的实战案例是爬取彼岸图网，网址如下：

https://pic.netbian.com/4kdongman/

本次实战，需要各位小伙伴们掌握xpath语法与正则表达式。

在本次项目中，最重要的就是找到4K图片的下载地址，这一点很重要。

图片

当我点击下载原图时，我便捕获到了真正的url地址，如下所示：

https://pic.netbian.com/downpic.php?id=27068&classid=66

这里有两个查询参数，一个是id，另一个是classid，对于这两个参数，我的第一想法是看看网页中是否存在这两个参数的值。

图片

从上图可以看到，在网页上存在这两个参数的值，那么只需要利用xpath与正则表达式即可。

创建协程函数

在这里，我主要有创建三个任务，一个是获取详情页的url，一个是获取图片的url，最后一个保存图片。

具体代码，如下所示：

async def get_url(url):
    proxies = {
        'http://': 'http://182.38.188.206:4210',
        'https://': 'http://182.38.188.206:4210'
    }
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
    }
    response = httpx.get(url, headers=headers, proxies=proxies)
    html = etree.HTML(response.text)
    hrefs = html.xpath('//ul[@class="clearfix"]/li/a/@href')
    hrefs = ['https://pic.netbian.com/' + href for href in hrefs]
    return hrefs


async def get_img_url(hrefs):
    args = []
    img_urls = []
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
    }
    proxies = {
        'http://': 'http://182.38.188.206:4210',
        'https://': 'http://182.38.188.206:4210'
    }
    for href in hrefs:
        response = httpx.get(href, headers=headers, proxies=proxies)
        html = etree.HTML(response.text)
        src = html.xpath('//script[last()]/@src')[0]
        arg = re.findall('.*?(classid=\d+&id=\d+).*?', src)[0]
        img_url = 'https://pic.netbian.com/downpic.php?' + arg
        img_urls.append(img_url)

    return img_urls


async def save_img(img_urls):
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
    }
    proxies = {
        'http://': 'http://182.38.188.206:4210',
        'https://': 'http://182.38.188.206:4210'
    }
    for img_url in img_urls:
        i = 1
        response = httpx.get(img_url, headers=headers, proxies=proxies)
        data = response.content
        with open(f'./picture/{i}.jpg', 'wb') as f:
            f.write(data)
        i += 1

创建任务

async def main():
    url = 'https://pic.netbian.com/4kdongman/'
    task1 = asyncio.create_task(get_url(url))
    hrefs = await task1
    task2 = asyncio.create_task(get_img_url(hrefs))
    img_urls = await task2
    print(img_urls)
    task3 = asyncio.create_task(save_img(img_urls))
    await task3

最后

致 Python 初学者
Python作业辅导员 - 天元浪子
11-13 37万+
欢迎来到“Python进阶”专栏！来到这里的每一位同学，应该大致上学习了很多 Python 的基础知识，正在努力成长的过程中。在此期间，一定遇到了很多的困惑，对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言，从2009年开始单一使用 python 应对所有的开发工作，直至今天。回顾自己的学习过程，也曾经遇到过无数的困难，也曾经迷茫过、困惑过。开办这个专栏，正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
python+pytest接口自动化-接口测试基础，http协议基础（一）
分享测试知识
06-27 1910
目录前言：【文章末尾给大家留下了大量的福利】接口定义接口分类常见接口测试分层测试左移和右移总结HTTP协议简介HTTP协议特点HTTP接口请求方法HTTP与HTTPS区别【重点】很多的老6面试官都喜欢问这个憨批问题，兄弟们在这里就稍微的记一下哈。HTTP与TCP/IP区别HTTP请求过程总结 重点：学习资料学习当然离不开资料，这里当然也给你们准备了600G的学习资料项目实战大型电商项目全套软件测试自动化测试教学视频300G教程资料下载【视频教程+PPT+项目源码】全套软件测试自动化测试大厂面经python自
Python-开源协议说明
08-12
开源协议说明 OpenSource License Explains
python 网络协议_【Python】python网络协议
weixin_39922534的博客
12-08 294
套接字是常见的低级别的网络通讯协议，在此基础上，还有很多其他的网络通讯协议。用于实现client-server的网络互联，以下对这些协议做一个简单的介绍。1、文件传输FTP：文件传输协议。能够上传或下载文件，採用了Unix多用户的概念，用户一定要输入有效的username和password才干使用，只是也支持匿名登录。在底层实现上，FTP仅仅使用TCP而不使用UDP。主动模式下使用两个套接字，各自...
Python相关协议汇总
非-浪的博客
10-12 466
相关协议(仅做记录，非详解) 1. HTTP协议 超文本传输协议 2. uwsgi协议 二进制协议 可以携带任何类型的数据。 一个uwsgi分组的头4个字节描述了这个分组包含的数据类型。 uwsgi是一种线路协议而不是通信协议，常用于在uWSGI服务器与其他网络服务器的数据通信, 如: nginx->uWSSGI或者Gunicorn； 3. WSGI协议 1.Web Server Gateway Interface(web服务器网关接口)， 见名知意 2.是server和applecatio
Python对象协议
BUPT_WX的专栏
12-10 1754
Python中存在多种协议，用于实现鸭子类型(Duck Typing),下面分类介绍一下： 转换协议：__str__：在字符串格式化中如果有%s占位符的话，Python会自动地调用相应对象的__str__()方法格式化输出； __repr__: 同样是格式化字符串，只是输出应面向机器（开发者）； 其他的还有__long__ __float__等，根据字面很好理解 比较大小的协议：__eq__ __n
python协议_Python的对象协议
weixin_39788382的博客
12-09 381
Python是一门动态语言，Duck Typing概念遍布其中，所以其中的Concept并不是以类型的约束为载体，而是使用称作为协议的概念。那什么是Duck Typing呢？Duck Typing是鸭子类型，在动态语言中用的较多，是动态类型语言设计的一种风格。在这种风格中，一个对象有效的语义，不是由继承自特定的类或实现特定的接口决定，而是由当前方法和属性的集合决定。说白了就是并不关心对象是什么类型...
python实现基于RPC协议的接口自动化测试_python调用rpc接口
2401_89190833的博客
01-13 728
RPC（Remote Procedure Call）远程过程调用协议是一个用于建立适当框架的协议。从本质上讲，它使一台机器上的程序能够调用另一台机器上的子程序，而不会意识到它是远程的。RPC 是一种软件通信协议，一个程序可以用来向位于网络上另一台计算机的程序请求服务，而不必了解网络的细节。RPC 被用来像本地系统一样调用远程系统上的其他进程。过程调用有时也被称为函数调用或子程序调用。
python必备单词整理_学python务必要了解的单词，给你们整理出来了
weixin_30789921的博客
01-12 663
这42个单词是学习培训Python务必背完的单词，也是编码中普遍的单词。期待你可以都背熟！1. adult [ˈædʌlt] 成人2. authentication [ɔːˌθentɪˈkeɪʃn] 身份认证、验证、评定3. bit [bɪt] 略微、少量、小块、一点4. byte [baɪt] 字节、位组、位元组5. compute [kəmˈpjuːt] 测算、估计6. c...
【Python】python网络协议
Making Life Better. Making Others Better.
06-08 3329
套接字是常见的低级别的网络通讯协议，在此基础上，还有许多其它的网络通讯协议，用于实现客户端-服务器的网络互联，下面对这些协议做一个简单的介绍。1、文件传输 FTP：文件传输协议。可以上传或下载文件，采用了Unix多用户的概念，用户一定要输入有效的用户名和密码才能使用，不过也支持匿名登录。在底层实现上，FTP只使用TCP而不使用UDP，主动模式下使用两个套接字，分别是控制命令端口和数据端口，被动模式
python模块——ICE协议
03-04
使用python脚本进行ICE协议服务测试时，需要用到回调函数等模块，本文档中提供了常用的ICE调用函数，包括：回调函数等使用方法，模拟客户端client调用服务；
python的魔法函数
bruce_van的博客
01-02 410
hello， 大家好， 今天给大家分享一点python的魔法函数，即Python中自带双下划线的函数，虽然在大规模的软件开发中大家用的不多，当然除非你想被打(可以秀(装逼)一下)， 虽然使用的不多， 但是要是能数量的运用它们的话， 没有点功力基础也是相当困难的， 正所谓没有扎实的基本功，即便南拳北腿，降龙十八掌，九阴白骨爪，乾坤大挪移全部了然于心，照样是花拳绣腿，百无一用 ...
python协议_python网络编程（互联网协议与osi模型）
weixin_39807352的博客
01-29 141
一、互联网协议与osi模型互联网协议按照功能不同分为osi七层或tcp/ip五层或tcp/ip四层，如下图：osi七层或tcp/ip五层或tcp/ip四层每层运行常见物理设备须知一个完整的计算机系统是由硬件、操作系统、应用软件三者组成，具备了这三个条件，一台计算机系统就可以自己跟自己玩了(打个单机游戏，玩个扫雷啥的)如果你要跟别人一起玩，那你就需要上网了，什么是互联网？互联网的核心就是由一堆协议组...
Python - Internet协议
Allen_by的博客
12-14 432
Internet协议旨在在所有连接到Internet的计算机上实现统一的地址系统，并使数据包能够从Internet的一端传输到另一端。像Web浏览器这样的程序应该能够在任何地方连接到主机，而无需知道每个数据包在其旅程中穿过的网络设备的迷宫。有各种类别的互联网协议。创建协议是为了满足互联网中不同计算机之间不同类型数据通信的需求。 Python有几个模块来处理这些通信场景。这些模块中的方法和功能可以完...
Python 网络编程：实现各种协议
m0_57836225的博客
09-24 890
TCP/IP（Transmission Control Protocol/Internet Protocol）是一组用于在网络上进行通信的协议。TCP 提供可靠的数据传输，而 IP 负责将数据包从一个网络节点路由到另一个网络节点。UDP（User Datagram Protocol）是一种无连接的协议，它提供了快速的数据传输，但不保证数据的可靠性。HTTP（Hypertext Transfer Protocol）是用于在 Web 上传输超文本的协议。
第7.28节 《Python类、类型、协议》章节总结
老猿Python
06-23 1765
本章详细介绍了Python协议、多态与“鸭子类型”、类、类实例变量、类变量、实例方法、类方法、静态方法、类继承、抽象类、property函数和@property装饰器定义属性访问方法等内容，内容比较多，学习完本章，应该对Python的类知识了解比较全面，掌握“鸭子类型”、property函数和@property装饰器这些非常有Python特色的内容。到上节为止，类的基础知识部分就基本介绍完...
python 多态 协议详解
Free雅轩的博客
12-12 186
这篇文章主要为大家介绍了python 多态 协议 鸭子类型，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助 接口(python 中的协议)的多种不同的实现方式即为多态。多态的作用，就是为了类在继承和派生的时候，保证使用“家谱”中任一类的实例的某一属性时的正确调用。 from abc import ABCMeta, abstractmethod # 鸭子类 class Dock(metaclass=ABCMeta): @abstractmethod def Sw
python网络-HTTP协议(28)
weixin_33807284的博客
06-18 425
一、服务器和客户端介绍 1、什么是服务器？ 简而言之：提供服务的机器就是服务器，至于提供什么服务不重要，重要的是要给其他人提供服务。例如：FTP服务器可以提供文件下载，SMTP服务器等等，不同的服务器能提供的服务不同而已。 2、什么是客户端？ 简而言之：就是需要服务的APP(浏览器或者其他程序) 3、什么是HTTP协议？ 简而言之：服务器和客户端常用的通信协议的一种，主要用来传输超文本...
python协议_Python 协议小总
weixin_39858132的博客
12-09 162
每个编程语言都有自己的最佳实践.通常你不能套用别的语言来写出pythonic的代码.Python 是一门初学简单,越学越难的语言.在Python的世界中, 万物皆对象.当我们说某个对象是什么类型时,在根本上其实指的是:这个对象满足了该类型的特定接口规范，可以被当成这个类型来使用.如何定义一个对象的特定接口呢?dunder methods, 即双下划线方法.Python 的对象定义了非常多的双下划线...
像长连接协议的接口你们会怎么做接口测试
最新发布
06-25
用户意图基于引用是了解如何对长连接协议的接口进行接口测试。引用中提到了WebSocket协议，这是一个长连接协议。关键点：-长连接协议：例如WebSocket，它保持连接开放，允许双向通信。-接口测试：涉及测试接口的功能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值