Python -- Queue模块
学习契机
最近的一个项目中在使用grpc时遇到一个问题,由于client端可多达200,每个端口每10s向grpc server发送一次请求,server端接受client的请求后根据request信息更新数据库,再将数据库和配置文件的某些数据封装后返回给client。原代码的性能是0.26s/request,远远达不到所需性能,其中数据库更新操作耗时达到80%,其中一个优化点就是将数据库更新操作放在独立的线程中。
在次之前没有使用过线程编码,学以致用后本着加深理解的想法,将这个过程记录下来,这里先记下用于线程间通信的队列Queue的相关知识。
概念
Python2中队列库名称为Queue,Python3中已改名为queue,项目使用Python2.7.5版本,自然是使用Queue。
Queue模块中提供了同步的、线程安全的队列类,包括FIFO(先入先出)队列Queue,LIFO(后入先出)队列LifoQueue,和优先级队列PriorityQueue。这些队列都实现了锁原语,可在多线程通信中直接使用。
Queue模块定义了以下类及异常,在队列类中,maxsize
限制可入队列数据的数量,值小于等于0时代表不限制:
Queue.Queue(maxsize=0)
FIFO队列Queue.LifoQueue(maxsize=0)
LIFO队列Queue.PriorityQueue(maxsize=0)
优先级队列Queue.Empty
TODO
Queue.Full
Queue(Queue、LifoQueue、PriorityQueue)对象提供以下方法:
Queue.qsize()
返回队列大小,但是不保证qsize() > 0时,get()不会阻塞;也不保证qsize() < maxsize时,put()不会阻塞。Queue.empty()
返回True时,不保证put()时不会阻塞;返回False时不保证get()不会阻塞。Queue.full()
返回True时,不保证get()时不会阻塞;返回False时不保证put()不会阻塞。Queue.put(item[, block[, timeout]])
block默认值为False,指定为True时代表可以阻塞,若同时指定timeout,在超时时返回Full exception。Queue.put_nowait(item)
等同put(item, False)
Queue.get([block[, timeout]])
Queue.get_nowait()
等同get(item, False)
Queue.task_done()
消费者线程调用。调用get()后,可调用task_done()告诉队列该任务已经处理完毕。
如果当前一个join()正在阻塞,它将在队列中的所有任务都处理完时恢复执行(即每一个由put()调用入队的任务都有一个对应的task_done()调用)。Queue.join()
阻塞调用线程,直到队列中的所有任务被处理掉。
只要有数据被加入队列,未完成的任务数就会增加。当消费者线程调用task_done()(意味着有消费者取得任务并完成任务),未完成的任务数就会减少。当未完成的任务数降到0,join()解除阻塞。
应用
UpdateThread
是单一消费者进程,获取FIFO队列中的数据处理,GrpcThread
是multi生产者线程,需要对往队列中丢数据这个操作加锁保证数据先后顺序。
import threading import Queue import time q = Queue.Queue() q_lock = threading.Lock() class UpdateThread(threading.Thread): def __init__(self): super(self.__class__, self).__init__() self.setName(self.__class__.__name__) self._setName = self.setName @staticmethod def update_stat(): global q while not q.empty(): stat = q.get() print 'Update stat (%s) in db' % stat def run(self): while True: self.update_stat() time.sleep(0.1) class GrpcThread(threading.Thread): def compose_stat(self, stat): global q q_lock.acquire() q.put('%d: %s' % (stat, self.name)) q_lock.release() return def run(self): for i in range(10): self.compose_stat(i) time.sleep(0.1) def launch_update_thread(): UpdateThread().start() if __name__ == '__main__': launch_update_thread() thread1 = GrpcThread() thread2 = GrpcThread() thread1.start() thread2.start()
相关推荐
zhangpan 2020-05-31
Kakoola 2020-05-26
xhao 2020-05-04
容数据服务集结号 2020-02-21
nbfcome 2020-02-21
guan000 2020-02-18
憧憬 2019-12-29
JakobHu 2019-12-06
huhui0 2009-06-23
liym 2019-07-31
swency 2010-08-02
zestroly 2011-01-10
ding0 2019-06-30
lickylin 2019-06-30
newbird0 2019-06-29
小方哥哥 2019-06-28
CXsilent 2019-06-28
好好学习天天 2019-06-27
飞奔的熊猫 2019-06-26