《Redis源码学习笔记》文章列表
由于图片较大,缩放较为模糊,请双击打开查看原图 ^_^
主从复制简单来说就是把一台redis数据库中的数据同步到另一台redis数据库,并且按照数据流向,数据的发送者我们称作master,数据的接受者我们称作slave(master/slave的划分并不是那么一定的,譬如B可以作为A的slave,但同时也可以作为C的master),下面就从slave和master的角度分别说明主从复制流程。
首先是slave端,对于slave端来说,主从复制主要经历四个阶段:
第一阶段:与master建立连接
第二阶段:向master发起同步请求(SYNC)
第三阶段:接受master发来的RDB数据
第四阶段:载入RDB文件
下面我们就通过一个图来概述在每一个阶段中,slave究竟做了些什么:
关于上图,有一点说明下:redis接收到slaveof master_host master_port命令后并没有马上与master建立连接,而是当执行服务器例行任务serverCron,发现自己正处于REDIS_REPL_CONNECT状态,这时才真正的向maser发起连接,伪代码:
def serverCron():
# 服务器处于REDIS_REPL_CONNECT状态
if redisServer.repl_state == REDIS_REPL_CONNECT:
# 向master发起连接
connectWithMaster()
# 其他例行任务(省略)...
接着我们来看下主从复制过程中,master这边的流程是如何,在具体看细节之前,我们先综合来看master这边主要做的几件事情:
看完这个图,你也许会有以下几个疑问:
1. 为什么在master发送完RDB文件后,还要定期的向slave发送PING命令?
2. 在发送完RDB文件之后,master发送的“变更”命令又是什么,有什么用?
在回答问题之前1,我们先回答问题2:
master保存RDB文件是通过一个子进程进行的,所以master依然可以处理客户端请求而不被阻塞,但这也导致了在保存RDB文件期间,“键空间”可能发生变化(譬如接收到一个客户端请求,执行"set name diaocow"命令),因此为了保证数据同步的一致性,master会在保存RDB文件期间,把接受到的这些可能变更数据库“键空间”的命令保存下来,然后放到每个slave的回复列表中,当RDB文件发送完master会发送这些回复列表中的内容,并且在这之后,如果数据库发生变更,master依然会把变更的命令追加到回复列表发送给slave,这样就可以保证master和slave数据的一致性!相关伪代码:
def processCommand(cmd, argc, argv):
# 处理命令
call(cmd, argc, argv)
# 如果该命令造成数据库键空间变化and当前redis是一个master,则同步变更命令
if redisServer.update_key_space and len(redisServer.slaves) > 0:
replicationFeedSlaves(cmd, argc, argv)
def replicationFeedSlaves(cmd, argc, argv):
# 把变更命令发送给每一个处于:REDIS_REPL_WAIT_BGSAVE_END状态的slave节点
for slave in redisServer.slaves:
if slave.replstate == REDIS_REPL_WAIT_BGSAVE_START:
continue
slave.updateNotify(cmd, argc, argv)
由于在发送完RDB文件之后,master会不定时的给slave发送“变更”命令,可能过1s,也可能过1小时,所以为了防止slave无意义等待(譬如master已经挂掉的情况),master需要定时发送“保活”命令PING,以此告诉slave:我还活着,不要中断与我的连接
现在我们就看下,当master接受到slave发送的sync同步命令后究竟发生了哪些事:
上图看似分支复杂,但我们抓住以下几点即可:
1.保存RDB文件是在一个子进程中进行的;
2.如果master已经在保存RDB文件,但是没有客户端正在等待这次BGSAVE,新添加的slave需要等到下次BGSAVE,而不能直接使用这次生成的RDB文件(原因图中已经说明)
3.master会定期检查RDB文件是否保存完毕(时间事件serverCron);
接下来我们看下,master是如何给每一个slave发送RDB文件的:
好了,至此我们已经分析完在主从复制过程中,master和slave两边分别是怎么一个处理流程;最后,我绘制了一个图,综述了主从复制这一过程(我们可以边看图,边回忆其中的具体细节):
PS:在主从复制过程中,任何一步发生错误,都会导致整个过程重头开始,所以若RDB文件很大又或是此时正处在业务高峰期,对系统性能将会有非常大的影响!
总结:
1. 了解主从复制master和slave的概念;
2. 了解主从复制执行过程,特别是其中关键的几步;
3. 了解目前主从复制过程中尚存的不足之处;
- 大小: 9.3 KB
- 大小: 58.7 KB
- 大小: 24.9 KB
- 大小: 15.6 KB
- 大小: 39.6 KB
分享到:
相关推荐
Redis主从复制以及主从复制技术原理.docx
基于北京尚硅谷周阳老师讲解的redis。个人学习总结: 包含redis常用命令,redis配置文件,redis持久化,redis事务,redis主从复制,jedis的使用。
02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构详解02-Redis持久化、主从与哨兵架构...
Redis集群-Redis安装、Redis主从复制、哨兵、Redis集群
02-Redis持久化、主从与哨兵架构详解.zip
windows环境下redis高可用之主从复制与哨兵监控.
Redis持久化、主从与哨兵架构详解(1)
主要介绍Redis持久化、主从与哨兵架构详解,详细具体,可操作性好!
Redis主从复制和集群配置说明
本文是一篇关于Redis全套学习笔记的文章,主要介绍了Redis的基础知识、数据结构、持久化、集群、高可用、性能优化等方面的内容。通过本文的学习,读者可以全面掌握Redis的使用和应用,提高自己的技术水平和实践能力...
某播客Redis3.0新特性、主从复制、集群视频教程 某播客Redis3.0新特性、主从复制、集群视频教程 某播客Redis3.0新特性、主从复制、集群视频教程
Thinkphp redis类,支持主从分离
一、 redis 环境搭建 2 二、 redis学习笔记之数据类型 3 三、 redis学习笔记之排序 11 四、 redis学习笔记之事务 16 五、 redis学习笔记之pipeline...八、 redis学习笔记之主从复制 30 九、 redis学习笔记之虚拟内存 31
1个Nginx+2个tomcat+2个redis服务器(主从复制)实现反向代理,实现动静分离。 - 张相逢的博客 - CSDN博客 Nginx的个人理解 - fly1056601582的博客 - CSDN博客 Redis 集合(Set)_redis教程 mysql、zookeeper、redis和...
Redis从入门到精通高清,迅雷播放器组件可顺利播放
redis集群搭建,主从复制配置。Redis搭建(集群+主从复制).docx
Redis全套学习笔记 完整版pdf.rar set:添加键值对 get:获取值 apend:追价值 strlen:获取值的长度 setnx:key不存在时,设置key的值 incr:原子递增1 decr:原子递减1 incrby/decrby:递增或者递减指定的数字 ...
Redis全套学习笔记-带章节目录
redis主从配置及主从切换.rar
redis的学习笔记