Redis设计与实现第12章 -- 事件总结（键空间过期策略过期键的影响）

Redis服务器是一个事件驱动程序，服务器需要处理以下两类事件：

文件事件：Redis通过套接字与客户端（或其他Redis服务器）进行连接，而且文件事件就是服务器对套接字操作的抽象。服务器和客户端的通信会产生相应的文件事件，而服务器通过监听并处理这些事件来完成一系列网络通信操作
时间事件：Redis服务器中的一些操作，比如serverCron函数需要在给定的时间点执行

12.1 文件事件

基于Reactor模式开发了自己的网络事件处理器，这个处理器就是文件事件处理器。

文件事件处理器使用IO多路复用程序来同时监听多个套接字，并根据套接字当前执行的任务来为套接字关联不同的事件处理器。

当被监听的套接字准备好执行连接应答、读取、写入、关闭等操作时，与操作对应的文件事件就会产生，这时候文件处理器会调用之前关联好的事件处理器来处理这些事件。

文件事件处理器以单线程方式运行，但是通过IO多路复用程序监听多个套接字，既实现了高性能的网络通信模型，又很好的与Redis服务器中其他同样使用单线程的模块对接，保持了Redis内部单线程设计的简单性

12.1.1 文件事件处理器的构成

包括套接字、IO多路复用程序、文件事件分派器和事件处理器

多个文件事件可能会并发的出现，IO多路复用程序负责监听多个套接字，并向文件事件分派器传送产生了事件的套接字。

而且IO多路复用程序会把所有产生事件的套接字放到一个队列里，以有序、同步、每次一个套接字的方式向文件事件分派器传送套接字。

12.1.2 IO多路复用程序的实现

通过包装常见的select,epoll,evort和kqueue这些IO多路复用函数库来实现的，Redis为每个IO多路复用函数库都实现了相同的API，所以IO多路复用程序的底层实现是可以互换的，程序会在编译时自动切换系统中性能最高的IO多路复用函数库来作为Redis的IO多路复用程序的底层实现。

12.1.3 事件的类型

IO多路复用程序可以监听多个套接字的ae.h/AE_READABLE事件和ae.h/AE_WRITABLE事件：

当套接字变得可读时（客户端对套接字执行wirte/close操作）或有新的可应答（acceptable）套接字出现时（客户端对服务器的监听套接字执行connect操作），套接字产生AE_READABLE事件
当套接字变得可写时（客户端对套接字执行read操作），套接字产生AE_WRITABLE事件

如果同时出现，会优先处理AE_READABLE事件，先读套接字，后写套接字

12.1.4 API

12.1.5 文件事件的处理器

连接应答处理器：对连接服务器的各个客户端进行应答

命令请求处理器：接收客户端传来的命令请求

命令回复处理器：向客户端返回命令的执行结果

复制处理器：主从服务器进行复制操作

连接应答处理器

networking.c/acceptTcpHandler函数是Redis的连接应答处理器，这个处理器用于对连接服务器监听套接字的客户端进行应答。当Redis服务器进行初始化的时候，程序会将这个连接应答处理器和服务器监听套接字的AE_READABLE事件关联起来。

命令请求处理器

networking.c/readQueryFromClient函数是Redis的命令请求处理器，负责从套接字中读入客户端发送的命令请求内容，服务器会把客户端套接字的AE_READABLE事件和命令请求处理器关联起来，当客户端向服务端发送命令请求时，套接字产生AE_READABLE事件，引发命令请求处理器执行，并执行相应的套接字读入操作。

命令回复处理器

networking.c/sendReplyToClient函数是Redis的命令回复处理器，负责把服务器执行命令后得到的命令回复通过套接字返回客户端。

当服务器有命令回复需要传送给客户端的时候，服务器会将客户端套接字的AE_WRITABLE事件和命令回复处理器关联起来；当命令回复发送完毕之后，服务器就会解除命令回复处理器与客户端套接字的AE_WRITABLE事件之间的关联。

一次完整的客户端与服务器连接事件实例：

一个Redis服务器正在运行，这个服务器的监听套接字的AE_READABLE事件应该正处于监听状态之下，此时对应的处理器是连接应答处理器。

这时候有一个Redis客户端向服务器发起连接，监听套接字将产生AE_READABLE事件，触发连接应答处理器执行。处理器对客户端的连接请求进行应答，然后创建客户端套接字和客户端状态，并且把客户端套接字的AE_READABLE事件与命令请求处理器进行关联，使得客户端可以向主服务器发送命令请求。

假设客户端向主服务器发送一个命令请求，客户端套接字将产生AE_READABLE事件，引发命令请求处理器执行。

执行命令将产生的相应命令回复，服务器会将客户端套接字的AE_WRITABLE事件与命令回复处理器关联，当客户端尝试读取命令回复时，客户端套接字产生AE_WRITABLE事件，触发命令回复处理器执行。全部写入后，服务器就会解除关联。

12.2 时间事件

分为两类

定时事件：让一段程序在指定的时间之后执行一次，比如让程序X在当前时间的30毫秒之后执行一次

周期性事件：让一段程序每隔一段时间就执行一次，比如每隔30秒执行一次

一个时间事件的属性：

id：服务器为时间事件创建的全局唯一ID（标识号），ID按照从小到大的顺序递增，新事件的ID号比旧事件的ID号要大
when：毫秒精度的UNIX时间戳，记录了时间事件的到达事件
timeProc：时间事件处理器，一个函数。当时间事件到达时，服务器就会调用相应的处理器来处理事件。

一个时间事件是定时事件还是周期性事件取决于时间事件处理器的返回值：

如果事件处理器返回ae.h/AE_NOMORE，这个事件为定时事件，到达一次后会被删除，之后不再到达；如果返回的是非AR_NOMORE的整数值，这个事件为周期性事件，服务器会对when属性更新，让这个事件一段时间后再次到达，一直更新并运行下去。

12.2.1 实现

服务器将所有时间事件都放在一个无序链表里，当时间事件执行器运行时，它就遍历整个链表，查找所有已到达的时间事件，调用相应的事件处理器。新的事件总是插入到链表的表头。这里的无序链表指的是不按when属性的大小排序。当时间事件执行器运行的时候，必须遍历链表中的所有时间事件。

12.2.2 API

ae.c/aeCreateTimeEvent函数接受一个毫秒数milliseconds和一个时间处理器proc作为参数，将一个新的时间事件添加到服务器。

ae.c/aeDeleteFileEvent函数接受一个时间事件ID作为参数，然后从服务器中删除该ID对应的时间事件。

ae.c/processTimeEvents函数是时间事件的执行器，会遍历所有已到达的时间事件，调用这些事件的处理器。已到达指的是时间事件的when属性记录的UNIX时间戳<=当前时间的UNIX时间戳。

def processTimeEvents():
    #遍历服务器中的所有时间事件
    for time_event in all_time_event():
    #检查事件是否已经到达
        if time_event.when < unix_ts_now():
            #事件已到达
            #执行事件处理器，并获取返回值
            retval = time_event.timeProc()
            #如果这是一个定时事件
            if retval == AE_NOMORE:
                #那么将该事件从服务器中删除
                delete_time_event_from_server(time_event)
            #如果这是一个周期性事件
            else:
                #那么按照事件处理器的返回值更新时间事件的when属性#让这个事件在指定的时间之后再次到达
                update_when(time_event，retval)

12.2.3 应用实例：serverCron函数

持续运行的Redis服务器需要定期对自身的资源和状态进行检查和调整，从而确保服务器可以长期、稳定地运行，这些定期操作由redis.c/serverCron函数负责执行，主要工作包括：

更新服务器的各类统计信息，比如时间、内存占用、数据库占用情况
清理数据库中的过期键值对
关闭和清理连接失效的客户端
尝试进行AOF或RDB持久化操作
如果服务器是主服务器，需要对从服务器进行定期同步
如果处于集群模式，对集群进行定期同步和连接测试

Redis服务器以周期性事件的方式来运行serverCron函数，在Redis2.6版本，服务器默认规定ServerCron每秒运行10次，平时每间隔100毫秒运行一次。从Redis2.8开始，用户可以通过hz选项来调整

12.3 事件的调度与执行

服务器同时存在文件事件和时间事件两种事件类型，服务器必须对两种事件进行调度，由ae.c/aeProcessEvents函数负责

def aeProcessEvents():
    #获取到达时间离当前时间最接近的时间事件
    time_event=aeSearchNearestTimer()
    #计算最接近的时间事件距离到达还有多少毫秒
    remaind_ms = time_event.when - unix_ts_now()
    #如果事件已到达，那么remaind_ms的值可能为负数，将它设定为0
    if remaind_ms < 0:
        remaind_ms = 0
    #根据remaind ms的值，创建timeval结构
    timeval=create_time_val_with_ms(remaind_ms)
    #阻塞并等待文件事件产生，最大阻塞时间由传入的timeval结构决定
    #如果remaind ms的值为0，那么aeApiPo11调用之后马上返回，不阻塞
    aeApiPoll(timeval)
    
    #处理所有已产生的文件事件
    processrileEvents()
    #处理所有已到达的时间事件
    processTimeEvents()

aeApiPoll函数的最大阻塞事件由到达事件最接近当前时间的时间事件决定，这个方法可以避免服务器对于时间事件进行频繁的轮询（忙等待），也可以确保不会阻塞太长时间。

因为文件事件是随机出现的，如果等待并处理完一次文件事件之后，仍未有时间事件到达，那么服务器将再次等待并处理文件事件。随着文件事件的不断执行，时间会逐渐向时间事件所设置的到达事件逼近，最终来到到达时间，这时候服务器就可以处理到达的时间事件了。

对文件事件和时间事件的处理都是同步、有序、原子地执行的，服务器不会中途中断事件处理，也不会对事件进行抢占，同时还会尽可能地减少程序的阻塞事件，并在有需要时主动让出执行权，从而降低造成饥饿的可能性。比如，命令回复处理器将一个命令回复写入客户端套接字时，如果写入字节数超过了一个预设常量，命令回复处理器会主动用break跳出写入循环，将余下的数据留到下次再写；时间事件也会将非常耗时的持久化操作放到子线程/子进程执行。

时间事件在文件事件之后执行，而且不会抢占，所以时间事件的实际处理时间会比时间事件设定的到达时间稍晚。