Redis原理----持久化

Redis的数据全部在内存里,如果突然宕机,数据就会全部丢失,因此必须有一种机制来保证Redis的数据不会因为故障而丢失,这种机制就是Redis的持久化机制。

Redis的持久化机制有两种,第一种就是快照(RDB文件),第二种就是AOF日志。快照是一次全量备份,AOF日志是连续的增量备份。快照是内存数据的二进制序列化形式,在存储上非常紧凑,而AOF日志记录的是内存数据修改的指令记录文本。AOF日志在长期的运行过程中会变得非常大,数据库重启时需要加载AOF日志进行指令重放,这个时间会变得无比漫长。所以需要定期进行AOF重写,给AOF文件瘦身。

快照原理

我们知道Redis是单线程程序,这个线程要同时负责多个客户端套接字的并发读写操作和内存数据结构的逻辑读写。

在服务线上请求的同时,Redis还需要进行内存快照,内存快照要求Redis必须进行文件IO操作,可文件IO操作是不能使用多路复用API。

这意味着单线程同时在服务线上的请求和吉林文件IO操作,文件IO操作会严重拖垮服务器请求的性能。还有个重要的问题就是为了不阻塞线上的业务,就需要边持久化边响应客户端请求。持久化的同时,内存数据结构还在变化,比如一个大型的hash字典正在持久化,结果一个请求过来把它给删除了,还没持久化,这该怎么办?

Redis使用操作系统的多进程COW(copy On Write)机制来实现快照持久化。

fork

Redis在持久化时会调用glibc的函数fork产生一个子进程,快照持久化完全交给子进程来处理,父进程继续处理客户端请求。子进程刚刚产生时,它和父进程共享内存里面的代码段和数据段。这时你可以将父子进程想象成一个连体婴儿,共享身体。这时liunx操作系统的机制,为了节约内存资源,所以尽可能让他们共享。在进程分离的一瞬间,内存的增长几乎没有明显变化。

子进程做数据持久化,它不会修改现有的内存数据结构,它只是对数据结构进行遍历读取,然后序列化写到磁盘中。但是父进程不一样,它必须持续服务客户端请求,然后对内存数据结构进行不间断修改。

这个时候就会使用操作系统的COW机制进行数据段页的分离。数据段是由很多操作系统的页面组合而成,当父进程对其中一个页面的数据进行修改时,会将被共享的页面复制一份分离出来,然后对这个复制的页面进行修改。这时子进程像一粒的页面是没有变化的,还是进程产生时那一瞬间的数据。

随着父进程修改操作的持续进行,越来越多的共享页面被分离出来,内存就会持续增长。但是也不会超过原有数据内存的2倍大小。另外一个Redis实例里冷数据占的比例往往是比较高的,所以很少会出现所有的页面都会被分离,被分离的往往只有其中一部分。每个页面的大小只有4k,一个Redis实例里面一般会有成千上万的页面。

子进程因为数据没有变化,它能看到的内存里的数据在进程产生的一瞬间就凝固了,再也不会改变,这也是为什么Redis的持久化交【快照】的原因。接下来子进程就可以非常安心的遍历数据进行序列化写磁盘了。

AOF原理

AOF日志存储的Redis服务器的顺序指令序列,AOF日志只记录对内存进行修改的指令记录。

假设AOF日志记录了自Redis实例创建以来所有的修改性指令序列,那么就可以通过对一个空的Redis实例顺序执行所有的指令,也就是重放来恢复Redis当前实例的内存数据结构的状态。

Redis会在收到客户端修改指令后,进行参数校验进行逻辑处理后,如果没有问题,就立即将该指令存储到AOF日志中,也就是先执行指令才将日志存盘。这点不同于leveldb、hbase等存储引擎,他们都是先存储日志再做逻辑处理。

Redis在长期运行的过程中,AOF的日志会变得越来越多。如果实例宕机重启,重放整个AOF日志会非常耗时,导致 长时间Redis无法对外提供服务,所以需要对AOF进行日志瘦身。

AOF重写

Redis提供了bgrewriteaof指令用于对AOF日志进行瘦身。其原理就是开辟一个子进程对内存进行遍历转换成一系列Redis的操作指令,序列化到一个新的AOF日志文件中。序列化完毕后再将操作期间发生的增量AOF日志追加到这个新的AOF日志文件中,追加完毕后就立即替换旧的日志文件。

fsync

AOF日志是以文件的形式存在的,当程序对AOF日志文件进行写操作时,实际上就是内容写到了内核为文件描述符分配的一个内存缓存中,然后内核会异步将脏数据刷回到磁盘。

这意味着如果机器突然宕机,AOF日志内容可能还没来得及完全刷到磁盘,这个时候就会出现日志丢失。

Linux的glibc提供了fsync(int fd)函数可以将指定文件的内容强制从内核缓存刷到磁盘。只要Redis进程实时调用fsync函数就可以保证aof日志不丢失。但是fsync是一个磁盘IO操作,这意味着他很慢。如果Reids执行一条指令就要fsync一次,那么Redis的高性能地位就不保了。

所以在生产环境的服务器中,Redis通常是每隔1s左右执行一次fsync操作,这是在数据安全性和性能之间做了一个折中,在保持高性能的同时,尽可能使得数据少丢失。

Redis提供了另外两种策略:永不fsync(让操作系统来决定何时同步磁盘),用一个指令就fsync一次(非常慢,基本不会在生产中使用)

运维

快照是通过开启子进程的方式进行的,它是一个比较耗资源的操作。
1、遍历整个内存,大块写磁盘会加重系统负载。
2、AOF的fsync是一个比较耗时的IO操作,它会降低Redis性能,同时也会增加系统IO负担。

所以通常Redis的主节点是不会进行持久化操作,持久化操作主要在从节点进行。从节点是备份节点,没有来自客户端请求的压力,它的操作系统资源比较充沛。

但是如果出现网络分区,从节点长期连不上主节点,就会出现数据不一致的问题,特别是网络分区出现的情况下又不小心主节点宕机了,那么数据就会丢失,所以在生产环境要做好实例监控工作,保证网络畅通或者能快速修复。另外还应该再增加一个从节点以降低网络分区的概率,只要有一个从节点数据同步正常,数据也就不会轻易丢失。

Redis4.0混合持久化

重启Redis时,我们很少使用rdb来恢复内存状态,因为会丢失大量数据。我们通常使用AOF日志重做,但是重放AOF日志性能相对RDB来说要慢很多,这样在Redis实例很大的情况下,启动需要花费很长的时间。

Redis4.0为了解决这个问题,带来了一个新的持久化选项–混合持久化。将RDB文件的内容和增量的AOF日志文件存在一起。这里的AOF日志不在是全量的日志,而是自持久化开始到持久化结束的这段时间发生的增量AOF日志,通常这部分AOF日志很小。

于是在Redis重启的时候,可以先加载rdb的内容,然后再重放增量AOF日志就可以完全替代之前的AOF全量文件重放,重启效率大幅度提升。