数据挖掘_利用协程抓取

协程,又称微线程,纤程。英文名Coroutine。

协程的概念很早就提出来了,但直到最近几年才在某些语言(如Lua)中得到广泛应用。

子程序,或者称为函数,在所有语言中都是层级调用,比如A调用B,B在执行过程中又调用了C,C执行完毕返回,B执行完毕返回,最后是A执行完毕。

所以子程序调用是通过栈实现的,一个线程就是执行一个子程序。

子程序调用总是一个入口,一次返回,调用顺序是明确的。而协程的调用和子程序不同。

协程看上去也是子程序,但执行过程中,在子程序内部可中断,然后转而执行别的子程序,在适当的时候再返回来接着执行。

注意,在一个子程序中中断,去执行其他子程序,不是函数调用,有点类似CPU的中断。

摘自网上

协程与多线程的比较,可以参考下图

数据挖掘_利用协程抓取

一般在Python讨论协程时,都会与生成器联系在一起

生成器是一个函数,主要特点是生成器在返回值是,不是使用return,而是使用yield关键字,在定义函数时,如果函数体中包含yield关键字,则该函数就被认为是一个生成器,对于这些基本概念,我们不做过多讨论

接下来我们首先要引入一个模块gevent,使用gevent异步库可以更加方便地实现基于协程的并发设计,在gevent中使用greenlet对象实现并发,greenlet就是协程,可以将其认为是一种轻量线程

首先安装这个模块,非常简单

pip3 install gevent
数据挖掘_利用协程抓取

接下来,我们还是以之前当当图书的那个例子,进行测试

我们在这定义协程的主要函数

# -*- coding: utf-8 -*-
"""
Created on 2018/5/5 

@author: susmote
"""

import gevent
from gevent import monkey
monkey.patch_all()
import time
import mining_func


def gevent_test():
    start_time = time.time()
    page_range_list = [
        (1, 10),
        (11, 20),
        (21, 32),
    ]
    jobs = []
    for page_range in page_range_list:
        jobs.append(gevent.spawn(mining_func.get_urls_in_pages, page_range[0], page_range[1]))

    gevent.joinall(jobs)
    
    end_time = time.time()
    print("抓取时间:", end_time - start_time)
    return end_time - start_time

关于这段代码,基本和之前定义多线程,多进程的过程相似,我不做过多无用的解释,只是提示一下,monkey.patch_all()这个是必须不能忘记加,如果没有这一句,程序将会变为依次顺序抓取,这样就会失去并发的能力

gevent.spawn这段语句可以生成greenlet,gevent.joinall(jobs),也就是说他会阻塞程序的执行,直至所有的协程执行完毕

运行主函数如下

# -*- coding: utf-8 -*-
"""
Created on 2018/5/5 

@author: susmote
"""

from main_func import gevent_test

if __name__ == "__main__":
    gevent_test()

下面运行这段代码

最后运行时间

3.439 秒

关于协程我讲的就是这些

相关推荐