python3协程的工作原理

协程的执行环境

你想要并发的执行同一类任务,且不想用多线程,那么协程是一个很好的解决方案.
协程是并发的,等同于共享上下文环境的多线程.
​
实现协程就是要实现多个任务的循环,任务一直跑，每到一个地方await一次，然后await返回，直到最终全部返回，主程序结束。
​
调用协程
​
协程不能直接运行，需要把协程加入到事件循环（loop）。asyncio.get_event_loop方法可以创建一个事件循环，然后使用run_until_complete将协程注册到事件循环，并启动事件循环。
​
​
协程的基本实现:首先要有 async -- await机制
                    task -- loop机制 (多个任务循环)
                    async def A():
                        await B()
                    async def B():
                        '非消耗任务'
                        '消耗任务'
将task任务注册到循环里,实现多程序并发.
执行由async封装的函数A(),在函数A中遇到await 时,await是挂起命令,挂起当前,执行B(),执行完成后重新激活当前函数继续运行，返回。如果B()迟迟不回，程序不会死等，而是去你定义的任务循环中寻找另一个任务（如果有的话），如果没有循环任务，那就死等.直到有结果返回。
如上面的B()函数,在程序遇到await时会执行B()直到遇到消耗任务(需要等待结果),然后将它挂起,转而去任务循环里拿下一个任务.直到拿完所有的任务.就开始并发的执行所有的消耗任务,并等待结果.
​
关于task
​
协程对象不能直接运行，在注册事件循环的时候，其实是run_until_complete方法将协程包装成为了一个任务（task）对象。所谓task对象是Future类的子类。保存了协程运行后的状态，用于未来获取协程的结果。
​
创建task后，task在加入事件循环之前是pending状态，当loop事件开始循环，所有pending状态的task都开始执行到await那一步（函数体内并非如此,），不管loop里是否调用,且不想用多线程,那么协程是一个很好的解决方案.
协程是并发的,等同于共享上下文环境的多线程.
​
实现协程就是要实现多个任务的循环,任务一直跑，每到一个地方await一次，然后await返回，直到最终全部返回，主程序结束。
​
调用协程
​
协程不能直接运行，需要把协程加入到事件循环（loop）。asyncio.get_event_loop方法可以创建一个事件循环，然后使用run_until_complete将协程注册到事件循环，并启动事件循环。
​
​
协程的基本实现:首先要有 async -- await机制
                    task -- loop机制 (多个任务循环)
                    async def A():
                        await B()
                    async def B():
                        '非消耗任务'
                        '消耗任务'
将task任务注册到循环里,实现多程序并发.
执行由async封装的函数A(),在函数A中遇到await 时,await是挂起命令,挂起当前,执行B(),执行完成后重新激活当前函数继续运行，返回。如果B()迟迟不回，程序不会死等，而是去你定义的任务循环中寻找另一个任务（如果有的话），如果没有循环任务，那就死等.直到有结果返回。
如上面的B()函数,在程序遇到await时会执行B()直到遇到消耗任务(需要等待结果),然后将它挂起,转而去任务循环里拿下一个任务.直到拿完所有的任务.就开始并发的执行所有的消耗任务,并等待结果.
​
关于task
​
协程对象不能直接运行，在注册事件循环的时候，其实是run_until_complete方法将协程包装成为了一个任务（task）对象。所谓task对象是Future类的子类。保存了协程运行后的状态，用于未来获取协程的结果。
​
创建task后，task在加入事件循环之前是pending状态，当loop事件开始循环，所有pending状态的task都开始执行到await那一步（函数体内并非如此,），不管loop里是否调用

协程有别于子程序

协程，又称微线程，纤程。英文名Coroutine。
​
子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。
​
所以子程序调用是通过栈实现的，一个线程就是执行一个子程序。
​
子程序调用总是一个入口，一次返回，调用顺序是明确的。而协程的调用和子程序不同。
​
协程看上去也是子程序，但执行过程中，在子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回来接着执行。
​
注意，在一个子程序中中断，去执行其他子程序，不是函数调用，有点类似CPU的中断。比如子程序A、B：
​
def A():
    print('1',',')
    print ('2',',')
    print ('3',',')
​
def B():
    print ('x',',')
    print ('y',',')
    print ('z',',')
假设由协程执行，在执行A的过程中，可以随时中断，去执行B，B也可能在执行过程中中断再去执行A，结果可能是：
​
1,2,x,y,3,z协程，又称微线程，纤程。英文名Coroutine。
​
子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。
​
所以子程序调用是通过栈实现的，一个线程就是执行一个子程序。
​
子程序调用总是一个入口，一次返回，调用顺序是明确的。而协程的调用和子程序不同。
​
协程看上去也是子程序，但执行过程中，在子程序内部可中断，然后转而执行别的子程序，在适当的时候再返回来接着执行。
​
注意，在一个子程序中中断，去执行其他子程序，不是函数调用，有点类似CPU的中断。比如子程序A、B：
​
def A():
    print('1',',')
    print ('2',',')
    print ('3',',')
​
def B():
    print ('x',',')
    print ('y',',')
    print ('z',',')
假设由协程执行，在执行A的过程中，可以随时中断，去执行B，B也可能在执行过程中中断再去执行A，结果可能是：
​
1,2,x,y,3,z

协程的优势

I/O为瓶颈的程序正是协程所擅长的：
多任务并发（非并行），每个任务在合适的时候挂起（发起I/O）和恢复(I/O结束).对于类似爬虫这种延时的IO操作，协程是个大利器，优点很多，他可以在一个阻塞发生时，挂起当前程序，跑去执行其他程序，把事件注册到循环中，实现多程序并发。
​
协程优势:
最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显。
​
第二大优势就是不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。
​
因为协程是一个线程执行，那怎么利用多核CPU呢？最简单的方法是多进程+协程，既充分利用多核，又充分发挥协程的高效率，可获得极高的性能。I/O为瓶颈的程序正是协程所擅长的：
多任务并发（非并行），每个任务在合适的时候挂起（发起I/O）和恢复(I/O结束).对于类似爬虫这种延时的IO操作，协程是个大利器，优点很多，他可以在一个阻塞发生时，挂起当前程序，跑去执行其他程序，把事件注册到循环中，实现多程序并发。
​
协程优势:
最大的优势就是协程极高的执行效率。因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显。
​
第二大优势就是不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。
​
因为协程是一个线程执行，那怎么利用多核CPU呢？最简单的方法是多进程+协程，既充分利用多核，又充分发挥协程的高效率，可获得极高的性能。