读asyncio模块源码时的知识补漏

硬着头皮看了一周的asyncio模块代码,了解了大概的执行流程,引用太多,成尤其是对象间函数的引用。

光是这么一段简单的代码:

# coding: utf8
import asyncio
import random

# 这个装饰器没做什么,对于生成器来说,只是为函数加个属性 _is_coroutine = True
@asyncio.coroutine
def smart_fib(n):
    index = 0
    a = 0
    b = 1
    while index < n:
        sleep_secs = random.uniform(0, 0.2)
        yield from asyncio.sleep(5)
        print('Smart one think {} secs to get {}'.format(sleep_secs, b))
        a, b = b, a + b
        index += 1
 
if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    tasks = [
        # async返回一个Task实例
        # Task实例化时, task内部的_step函数包裹了传入的coroutine, 调用loop的call_soon方法, 传入_step函数
        # call_soon方法以传入的_step函数创建一个Handle实例, 再在self._ready队列中加入这个Handle实例
        asyncio.async(smart_fib(2)),
    ]
    loop.run_until_complete(asyncio.wait(tasks))
    print('All fib finished.')
    loop.close()

后面牵扯出的类就在这么多个:

Task包裹generator,Handle又包裹Task里的_step方法,loop的队列又包含Handle对象,loop的堆里又包含TimerHandle对象,还要把堆里的弹出,放入队列,然后又开始一轮新的select事件循环。

整个时序图画起来复杂,还是捡点小鱼虾来得实在。

以下都是在Python3.4下的

socketpair

def _socketpair(self):
        return socket.socketpair()

socketpair会创建两个网络文件系统的描述符socket[0]、socket[1] ,保存在一个二元数组中。用于双向的数据传输。.类似于一根双向的管道,socket[0]socket[1]都可读写:
—— 在socket[0]写入,只能在socket[1]读出
—— 也可在socket[0] 读取 socket[1] 写入的数据

接收如下:

self._ssock, self._csock = self._socketpair()
        self._ssock.setblocking(False)
        self._csock.setblocking(False)

ABCMeta

class BaseSelector(metaclass=ABCMeta):
    @abstractmethod
    def register(self, fileobj, events, data=None):
        pass

实现抽象的类,继承的时候要覆盖这个方法

Python abc模块的几个小知识点

判断是否是函数:

def isfunction(object):

    """Return true if the object is a user-defined function."""

    return isinstance(object, types.FunctionType)

在Lib/inspect.py模块里

判断是否方法是一个实例方法

def ismethod(object):

    """Return true if the object is an instance method."""

    return isinstance(object, types.MethodType)

判断是否是一个生成器(generator function):

def isgeneratorfunction(object):

    """Return true if the object is a user-defined generator function."""
 
    return bool((isfunction(object) or ismethod(object)) and

                object.__code__.co_flags & 0x20)

使用iter方法:

>>> i = iter('abc')

>>> i.next()

'a'

>>> i.next()

'b'

>>> i.next()

'c'

>>> i.next()

Traceback (most recent call last):

  File "<stdin>", line 1, in <module>

StopIteration

>>>

理解了yield,和yield from的用法

select模型

select有阻塞与非阻塞两种方式:如果提供了timeout时间数,则会最多阻塞timeout秒,如果在这timeout秒内监听到文件描述符有变动,则立即返回;否则一直阻塞直到timeout秒。

非阻塞:轮询,间隔询问。select.select(self.inputs, self.outputs, self.inputs, 1)

阻塞:阻塞等待返回。select.select(self.inputs, self.outputs, self.inputs)

缺点:因为要监听的是文件描述符,所以存在最大描述符限制。默认情况下,单个进程最大能监视1024个文件描述符;

采用的是轮询的方式扫描文件描述符,数量越多,性能越差;

select返回的是整个句柄的数组,需要遍历整个数组,不对针对某个特定句柄。

Poll模型

简单来说,poll是使用链表保存文件描述符,因此没有了监视文件数量的限制。但select的其他缺点,poll也有。

Epoll模型

根据每个fd上的callback函数来实现,只有活跃的socket才会主动调用callback,不再轮询。

monotonic time

在初始化BaseEventLoop时,有这么一句时间语句:

self._clock_resolution = time.get_clock_info('monotonic').resolution

monotonic time字面意思是单调时间,实际上它指的是系统启动以后流逝的时间,这是由变量jiffies来记录的。系统每次启动时jiffies初始化为0,每来一个timer interrupt,jiffies加1,也就是说它代表系统启动后流逝的tick数。jiffies一定是单调递增的,不能人为减小,除非重新启动!

(参考资料: http://blog.csdn.net/tangchenchan/article/details/47989473 )

同时,有下列几种时间:

clock': time.clock()

'monotonic': time.monotonic()

'perf_counter': time.perf_counter()

'process_time': time.process_time()

'time': time.time()

例子:

#python 3.4

import time

print(time.get_clock_info('clock'))

结果输出如下:

namespace(adjustable=False, implementation='QueryPerformanceCounter()', monotonic=True, resolution=3.20731678764131e-07)

(参考资料: http://blog.csdn.net/caimouse/article/details/51750982 )

所以 time.get_clock_info('monotonic').resolution 就是获取系统启动后,此时的时间值。

random.uniform函数:

sleep_secs = random.uniform(0, 0.2)

uniform()方法将随机生成下一个实数,它在[x, y)范围内。

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import random

print "uniform(5, 10) 的随机数为 : ",  random.uniform(5, 10)

print "uniform(7, 14) 的随机数为 : ",  random.uniform(7, 14)

以上实例运行后输出结果为:

uniform(5, 10) 的随机数为 :  6.98774810047

uniform(7, 14) 的随机数为 :  12.2243345905

堆通常是一个可以被看做一棵树的数组对象。堆总是满足下列性质:

  1. 堆中某个节点的值总是不大于或不小于其父节点的值;
  2. 堆总是一棵完全二叉树。

也就是说,堆顶总是最大值或者最小值。

python的heapq模块提供了堆操作:

heap = [] #创建了一个空堆 
heappush(heap,item) #往堆中插入一条新的值

finally不管错误有没有抛出,都会执行:

try:
    raise Exception('hahah')
finally:
    print("finally")
print("end")

输出:finally

异常

__str__和__repr__的区别

print a时,优先使用__str__方法,没有__str__方法时,才会调用__repr__方法;

在命令行模式下,直接>>a 调用的是__repr方法

输出引用方法时:

B类里引用了A类的一个方法,在B类的输出A类的方法,会调用A的__repr__方法,这就解释了为什么在loop._shedule里,输出TimerHandle时,会跳到Future的__repr__方法。

下面这个例子很好的说明了这种情况:

class Test:
    def __init__(self, callback):

        self.a = 11
        self._callback = callback

    def __repr__(self):
        res = 'TimerHandle({}, {})'.format(self.a, self._callback)
        return res
 
class Test2:
    def __init__(self):
        self.a = 1<br />
    def aa(self):
        return 'shit'

    def __repr__(self):
        res = 'what the shit'
        return res

    def __str__(self):
        return "test2"

a = Test2()
t = Test(a.aa)
print(t)

输出如下:

>>>

TimerHandle(11, <bound method Test2.aa of what the shit>)

>>>

raise语句会向上抛出异常,异常不会被同一作用域的except捕获, 因为raise语句本身没有报错。下面的例子要以看出:

class _StopError(BaseException):
    pass

class T:
    def run(self):
        try:
            raise _StopError 
        except Exception as exc:
            print("hahahah")

class B:
    def run_once(self, t):
        t.run()
    def run_forever(self, t):
        try:
            self.run_once(t)
        except _StopError:
            print("xixixxixi")

t = T()
b = B()
b.run_forever(t)

输出:xixixixixi

判断python的版本:

_PY34 = sys.version_info >= (3, 4)

相关推荐