数据挖掘_刘勇协程抓取

协程,又称微线程,纤程。英文名Coroutine。

协程的概念很早就提出来了,但直到最近几年才在某些语言(如Lua)中得到广泛应用。

子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。

所以子程序调用是通过栈实现的,一个线程就是执行一个子程序。

子程序调用总是一个入口,一次返回,调用顺序是明确的。而协程的调用和子程序不同。

协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行。

注意,在一个子程序中中断,去执行其他子程序,不是函数调用,有点类似CPU的中断。

  摘自网上

 

协程与多线程的比较,可以参考下图

数据挖掘_刘勇协程抓取

 

 

一般在Python讨论协程时,都会与生成器联系在一起

生成器是一个函数,主要特点是生成器在返回值是,不是使用return,而是使用yield关键字,在定义函数时,如果函数体中包含yield关键字,则该函数就被认为是一个生成器,对于这些基本概念,我们不做过多讨论

 

接下来我们首先要引入一个模块gevent,使用gevent异步库可以更加方便地实现基于协程的并发设计,在gevent中使用greenlet对象实现并发,greenlet就是协程,可以将其认为是一种轻量线程

 

首先安装这个模块,非常简单

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wsxfzz.html