深入了解Redis之事件原理和实现

发表于 分类于 Changyan： 本文字数： 3.2k 阅读时长 ≈ 3 分钟

Redis服务器是一个事件驱动程序，其主要处理的事件主要可分为以下两类：

  • 文件事件(file event)

    Redis服务器通过套接字与客户端（或者其他Redis服务器）进行连接，而文件事件就是服务器对套接字操作的抽象。服务器与客户端（或者其他服务器）的通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列网络通信。

  • 时间事件(time event)

    Redis服务器中的一些操作（如，serverCron函数）需要在指定的时间点执行，而时间事件就是对这类定时操作的抽象。

文件事件

文件事件是对套接字操作的抽象，每当一个套接字准备好执行连接应答（accept）、写入、读取、关闭等操作时，就会产生一个文件事件。

Redis基于Reactor模式开发了自己的文件事件（网络事件）处理器（file event handler）。其构成可分为四个部分，套接字、I/O多路复用程序、文件事件分派器（dispatcher），以及事件处理器。

事件处理器的四个组成部分

  • 因为一个服务器通常会连接多个套接字，所以多个文件事件可能会并发的出现
  • I/O多路复用程序负责监听多个套接字，并向文件事件分派器传送那些产生了事件的套接字。（尽管会有多个文件事件同时出现，但是I/O多路复用程序会将之转化成一个有序的队列，依次将其传送给文件事件分派器。并且等上一个套接字处理完毕之后，I/O多路复用程序才会继续向文件事件分派器传送下一个套接字）
  • 文件事件分派器接受I/O多路复用程序传送过来的套接字，并根据套接字产生的事件类型，调用相应的事件处理器。

    服务器会为执行不同任务的套接字关联不同的事件处理器，如有应答处理器、命令请求处理器、命令回复处理器。

    I/O多路复用程序的实现方式

Redis的I/O复用程序的功能都是通过包装了常见的I/O多路复用函数库来实现的

  • select
  • epoll
  • evport
  • kqueue

I/O多路复用函数库的选择

Redis用每个函数库都实现了相同的API，程序会在编译时自动判断当前系统下哪种多路复用函数库性能最高，而选择其作为Redis的I/O多路复用程序的底层实现。

文件事件的类型

  • AE_READABLE 事件

    当套接字变得可读时（客户端对套接字执行write操作，或者执行close操作），或者有新的应答（acceptable）套接字出现时（客户端对服务器的监听套接字执行connect操作）

  • AE_WRITABLE 事件

    当套接字变得可写时（客户端对套接字执行read操作）

I/O多路复用程序允许服务器同时监听套接字的 AE_READABLE 和 AE_WRITABLE 事件，并且如果一个套接字同时出现这两种事件，那么文件分派器会优先处理 AE_READABLE 事件，然后才会处理 AE_WRITABLE 事件。

文件事件处理器

  • 连接应答处理器

服务器对客户端的连接请求进行应答

当Redis服务器进行初始化的时候，会将连接应答处理器和服务器监听套接字的 AE_READABLE 事件关联起来，当有客户端与服务器监听的套接字进行连接时，套接字就会产生 AE_READABLE 事件，引发连接应答处理器执行，并执行相应的套接字应答操作。

  • 命令请求处理器

服务器接收客户端发来的命令请求
当一个客户端通过连接应答处理器成功连接到服务器之后，服务器会将客户端套接字的 AE_READABLE 事件和命令请求处理器关联起来，当客户端向服务器端发送请求命令的时候，套接字就会产生 AE_READABLE 事件，引发命令请求处理器执行，并执行相应的套接字读入操作。

在客户端与服务器连接的整个过程中，服务器都会一直为客户端套接字的 AE_READABLE 事件关联命令请求处理器。

  • 命令回复处理器

服务器向客户端发送命令回复

当客户端有命令回复需要传送给客户端的时候，服务器会将客户端套接字的 AE_WRITABLE 事件和命令回复处理器关联起来，当客户端准备好接受服务器传回的命令回复时，就会产生 AE_WRITABLE 事件，引发命令回复处理器执行，并执行相应的套接字写入操作。

一次完整的客户端与服务器连接事件的示例

客户端和服务器的通信过程

假设一个Redis服务器正在运行，那么这个服务器的监听套接字的 AE_READABLE 事件应该正在处于监听状态下，而该事件所对应的处理器为连接应答处理器。

这是如果有一个Redis客户端向服务器发起连接，那么监听套接字将会产生 AE_READABLE 事件，I/O多路复用程序将会将这个 AE_READABLE 事件传送给文件事件分派器，文件分派器将其分给连接应答处理器触发其执行。

应答处理器会对客户端的连接请求进行应答，然后创建客户端套接字，以及客户端状态，并将客户端的套接字的 AE_READABLE 事件与命令请求处理器进行关联，使得客户端可以向主服务器发送命令请求。

之后，假设客户端向主服务器发送命令请求，那么客户端套接字将产生 AE_READABLE 事件，引发命令请求处理器执行，处理器读取客户端的命令内容，然后传给相关程序去执行。

执行程序执行完毕将会有对应的回复，为了将这些命令回复传送给客户端，服务器会将客户端套接字的 AE_WRITABLE 事件与命令回复处理器进行关联。当客户端尝试读取命令回复的时候，客户端套接字将会产生 AE_WRITABLE 事件，触发命令回复处理器执行，当命令回复处理器将命令回复全部写入到套接字之后，服务器就会解除客户端套接字的 AE_WRITABLE 事件与命令回复处理器之间的关联。

时间事件

Redis的时间事件分为以下两类：

  • 定时事件
  • 周期性事件

目前版本的Redis只使用周期性事件，而没有使用定时事件。

时间事件的组成

一个时间事件由以下三个属性组成，

  • id，服务器为时间事件生成的全局唯一的ID（标志号）。该ID是自增的，即新的事件ID总是比旧事件ID要大。

  • when，毫秒精度的时间戳，记录了事件的到达（arrive）时间

  • timeProc，时间事件处理器，一个函数

不管是定期时间事件和还是周期性时间事件，其组成都是由这三个属性构成。其不同取决于时间事件处理器的返回值

  • 如果事件处理器返回 AE_NOMARE ,那么这个事件就是定时事件。该事件在第一次之后就会被删除，之后不在到达。
  • 如果事件处理器返回 非AE_NOMARE 的整数值，那么这个事件就是周期性事件，该事件在到达之后，服务器会根据这个返回的值，对时间事件的 when 属性进行更新，让这个事件在一段时间之后可以再次到达。

实现

Redis 服务器将所有的时间事件都放在了一个无序列表中，每当时间事件执行器运行时，它就会遍历成哥链表，查找所有已到达的时间事件，并调用相应的事件处理器。

时间事件实现

实例

持续运行的Redis服务器需要定期的对自身的资源和状态进行检查和调整，从而确保服务器可以长期、稳定的运行，这些定期操作是由 serverCron 函数负责执行。它的主要工作有，

  • 更新服务器的各类统计信息，比如时间、内存占用、数据库占用情况等
  • 清理数据库中过期的键
  • 关闭和清理连接失效的客户端
  • 尝试进行AOF或RDB持久化操作
  • 如果服务器是主服务器，那么对从服务器进行定期数据同步
  • 如果处于集群模式，对集群进行定期同步和连接测试

Redis以周期性时间事件方式来运行 serverCron 函数，直至服务器关闭为止。

文件事件和时间事件的关系

事件角度下的服务器运行流程

文件事件和时间事件之间是合作关系，服务器会轮流处理这两种事件。并且由于文件事件和时间事件的处理都是同步、有序、原子地执行的，服务器也不会终端正在执行的事件处理，也不会对事件进行抢占。

Redis事件调度和执行的几条规则

  • 由于文件事件是随机出现的，如果等待并处理完一次文件事件之后，仍然未有任何事件到达，那么服务器将再次等待并处理文件事件。随着文件事件的不断执行，时间会逐渐向时间事件所设置的到达时间逼近，并最终来到到达时间，这时，服务器就可以开始处理到达的时间事件了。

  • 因为时间事件在文件事件之后执行，并且事件之间不会出现抢占，所以时间事件的实际处理时间一般会比设定的时间稍晚一些。