Memcached的服务设计与启动过程——C10K系列

C10k要解决的问题，是10K个连接。

LINUX下，使用EPOLL可实现异步非阻塞（注：阻塞的一定是同步的，阻塞是调用方自己阻塞自己（等待事件））

非阻塞：是指调用方不会阻塞自己，如被调用方有数据就返回，无数据就返回EAGAIN，调用方根据EAGAIN决定自己的策略。因此非阻塞，和异步没有任何关联。

异步：是相对于同步的。异步是指：调用的时机和返回的时机不是同一时刻。异步说的是一个处理流程，而并不一定是具体的某个函数。

举例如下：

你在电子商城买了一本书，你已经下单；但是，这时候商城并没有立即给你发单，而是有合适时候时，主动通知你，我已经发单了。

因此，下单，和发单不是同一时刻。

一般来说，异步需要通过回调函数来实现。即先需要注册一个异步处理流程，如必须先将你的手机号告诉给商城。

当然，也有异步服务。比如用网银买火车票。火车票网站转到网银，网银付账是一个同步的过程。但是火车票网站与网银的处理是异步的。火车票网站，不知道网银交易何时完成；网银交易完成后，再发个消息给火车票网站交易完成。

---------------------------------------------------------------------------------

Memcached，版本1.4.20：基于libevent的多线程实现

采用的是一个主线程（dispatcher_thread），多个工作线程worker（LIBEVENT_THREAD）,

（1）主线程dispatcher_thread负责接收外部请求事件，然后派发给工作线程处理。

（2）主线程dispatcher_thread和工作线程的通过管道传递消息。（实际上，是工作线程添加了一个与主线程关联的管道的事件（libevent的event)）

对于TCP连接来说，主线程（dispatcher_thread）是一个监听线程，即监听外部的服务请求。

主线程（dispatcher_thread）的定义：

typedefstruct{

pthread_tthread_id;

/*uniqueIDofthisthread*/

structevent_base*base;

/*libeventhandlethisthreaduses*/

}LIBEVENT_DISPATCHER_THREAD;

工作线程Worker的定义:

typedefstruct{

pthread_tthread_id;

/*uniqueIDofthisthread*/

structevent_base*base;

/*libeventhandlethisthreaduses*/

structeventnotify_event;/*listeneventfornotifypipe*/

intnotify_receive_fd;

/*receivingendofnotifypipe*/

intnotify_send_fd;

/*sendingendofnotifypipe*/

structconn_queue*new_conn_queue;/*queueofnewconnectionstohandle*/

}LIBEVENT_THREAD;

Libevent的main函数比较长，但与网络请求相关的是serversocket的创建和thread_init函数。

第一步：多线程服务初始化thread_init()

服务的初始化是在thread_init()完成的，主要完成主线程（dispatcher_thread），多个工作线程worker（LIBEVENT_THREAD）事件注册，管道通知等：

（1）初始化主线程dispatcher_thread的eventbase,event;

（2）初始化管道，将主线程dispatcher_thread与工作线程worker，通过管道关联。

for(i=0;inotify_event,me->notify_receive_fd,

EV_READ|EV_PERSIST,thread_libevent_process,me);

event_base_set(me->base,&me->notify_event);

if(event_add(&me->notify_event,0)==-1){

fprintf(stderr,"Can'tmonitorlibeventnotifypipe\n");

exit(1);

}

§thread_libevent_process：这个函数，是接收到数据的具体处理过程，其参数是线程句柄

§初始化工作线程自己的请求队列。

LIBEVENT_THREAD中的structconn_queue*new_conn_queue;这个是请求队列。

(4)启动工作线程

创建Worker线程(LIBEVENT_THREAD),其函数入口是：

staticvoid*worker_libevent(void*arg)

里面是一个event_base_loop()的消息循环。

(5)到这里，工作线程已经完成初始化和启动（即工作线程已经可以工作了）。主线程只要等待工作线程启动完毕。

第二步，serversocket创建：和所有网络服务一样：createthelisteningsocket,bindit,andinit

server_sockets(settings.port,tcp_transport,

portnumber_file)

new_socket：

获取socket的设置：fcntl(sfd,F_GETFL,0))

将其设置为非阻塞：fcntl(sfd,F_SETFL,flags|O_NONBLOCK)

socket设置：根据配置文件

SO_REUSEADDR，//地址重用

SO_KEEPALIVE，//是否保持连接，这是TCP层的控制

SO_LINGER，//延时断开连接。ngingx默认也启用

TCP_NODELAY，//不启用Neagle算法（本科书中的滑动窗口拥塞控制协议），一般内网访问，常设置为true

bind:

listen:

listen_conn_add=conn_new(sfd,conn_listening,

EV_READ|EV_PERSIST,1,

transport,main_base);//main_base要和创建的serversocket关联

这里的

conn_new函数：

初始化conn（一个超级复杂的结构体）

设置事件与socket的fd，与main_base关联，设置事件响应的具体处理函数，event_handler

添加事件

到这里，才把main_base(event_base*类型）与监听事件关联完成。

第三步：

主消息循环；整个服务启动过程结束。

备注：主线程dispatcher_thread未必是程序启动的mainthread，可以是一个独立的thread。