提高n倍效率的Python多线程
进程和线程是什么
进程是程序执行的最小单元,每个进程都有自己独立的内存空间,而线程是进程的一个实体,是系统调用调用的一个基本单位。
举个栗子吧:
我们启动一个app 这就创建了一个进程,这个app里可能有语音播放、搜索等功能,这些是进程里不同的线程。
注意:线程是轻量级的,他没有独立的空间地址(内存空间),因为他是由进程创建的,寄存在进程的内存地址中。一个进程会包含多个线程(这就是我们今天说的多线程)
我们先了解一下线程的5种状态:
1、新建状态:
当一个线程被创建时就开始了它的生命周期,在启动线程之前他一直处于新建状态。
2、就绪状态:
当线程被启动时,由于还没有分配到cpu资源,该线程进入等待队列在等待另一个线程执行完(等待cpu服务),此时线程被称为就绪状态。
3、运行状态:
当处于就绪状态的线程被调用并获得cpu资源时,此时为运行状态。
4、阻塞状态:
一个正在执行的线程在某些情况下不得已让出cpu资源时,会中止自己的执行过程,这是被称为阻塞状态。
值得注意的是:阻塞被消除后是回到就绪状态,不是运行状态。
5、死亡状态:
线程被终止、销毁、或执行完毕则进入死亡状态。不可再重新启动
阻塞状态的分类
阻塞状态又分为三种情况:等待阻塞、同步阻塞、其他阻塞
说到阻塞不得不提到一个‘锁’的概念
多线程可以运行多个任务,很大程度上提高了我们程序的工作效率,但是面临一个非常致命的问题。如果有多个线程去操作同一个列表(这个列表被称为:共享数据),
比如线程a要列表第一个元素的值加1,这个过程可以细分为3步:
1.取出元素;
2:元素加1;
3:将最终的结果放入列表。
那如果在a线程执行到第二步加1的时候线程b突然要读取列表 那么他读取到的列表仍然是没修改之前的内容。这并不是我们想要的
所以引进了锁的概念。当某个线程需要独占共享资源时,必须先上锁,这样别的线程就无法再操作。当操作完之后一定要将锁打开,别的线程才可以操作数据。
在I/O密集型操作中,需要保持数据同步的时候需要加锁 保证资源同步。但同时因为其他线程面临阻塞,性能不可避免的会下降。
- 同步阻塞:线程请求锁定的时候进入同步阻塞,一旦获得锁又变成运行状态。
- 等待阻塞:是指等待其他线程通知的状态,线程获得条件锁定后,调用“等待”将进入这个状态,一旦其他线程发出通知,线程将进入同步状态,再次竞争条件锁定。
- 其他阻塞:指线程sleep 、join或等待io时的阻塞。
下面我们创建一个简单的多线程
python3.x中提供了两种创建线程的方式:
_thread.start_new_thread()
threading.Thread()
从控制台打印的结果来看 t1线程和t2线程无规律的交错打印。这正是两个线程之间抢占cpu资源的结果。
下面我们模拟多窗口出售电影票的场景来理解阻塞和锁
通过多次运行代码、发现控制台打印的结果有时候明明两个窗口都售出去一张票了,但余票数量相等。
更明显的是明明美团窗口显示余票已经为0了,但是另外两个窗口还是有很多剩余电影票 如下图:
通过分析控制台记录我们会发现,美团售票窗口一次性卖了好几百张票,糯米和淘票窗口的数据一直没有更新成最新的库存,导致明明没票了,缺还显示剩余很多。
不仅仅是售票,生活中有很多这样的例子,比如抢购火车票,银行取钱等...都会有这种数据不同步的问题。解决这一问题的办法就是前面提到的‘锁’。
简单的讲美团在卖票的过程中,将库存进行锁定,在这期间糯米和淘票票不可以在操作,只能等待美团操作完将数据更新后,然后释放锁才可以继续操作。
在threading模块中提供了一个获得线程锁的方法:
threading.Lock()
SHOW CODING!!!
在运行时我们发现,无论执行代码多少次,最终票数为0时,所有窗口都停止售票了。这个例子很完美的阐述了阻塞和锁在多线程中的重要性!!!
大家在开发过程中,使用多线程也要多加注意,避免不必要的错误发生
其他常用方法
1、threading.Rlock()
RLock允许在同一线程中被多次acquire。而Lock却不允许这种情况。
注意:如果使用RLock,那么acquire和release必须成对出现,即调用了n次acquire,必须调用n次的release才能真正释放所占用的琐。
2、threading.Condition()
可以把Condiftion理解为一把高级的琐,它提供了比Lock, RLock更高级的功能,允许我们能够控制复杂的线程同步问题。
threadiong.Condition在内部维护一个琐对象(默认是RLock),可以在创建Condigtion对象的时候把琐对象作为参数传入。
Condition也提供了acquire, release方法,其含义与琐的acquire, release方法一致,其实它只是简单的调用内部琐对象的对应的方法而已。
Condition还提供wait方法、notify方法、notifyAll方法
(特别要注意:这些方法只有在占用琐(acquire)之后才能调用,否则将会报RuntimeError异常)
3 、threading.Semaphore和BoundedSemaphore
Semaphore:Semaphore 在内部管理着一个计数器。
调用 acquire() 会使这个计数器 -1,release() 则是+1(可以多次release(),所以计数器的值理论上可以无限).
计数器的值永远不会小于 0,当计数器到 0 时,再调用 acquire() 就会阻塞,直到其他线程来调用release()
4、join()
如果一个线程在执行过程中要调用另外一个线程,并且等到其完成以后才能接着执行
5、isAlive
isAlive 等价于 is_alive(self),用于判断线程是否运行。
当线程没有调用start时,或者线程执行完毕处于死亡状态,isAlive()返回false。
6、Daemon
Python主程序当且仅当不存在非Daemon线程存活时退出。
即:主程序等待所有非Daemon线程结束后才退出,且退出时会自动结束(很粗鲁的结束)所有Daemon线程。7、name