积累点滴,成就梦想
DiaoCow · 共 56 篇文章
《Redis源码学习笔记》RDB
《Redis源码学习笔记》文章列表 由于图片较大,缩放较为模糊,请双击打开查看原图 ^_^ 在 主从复制 过程中,我们提到过RDB文件,作为Redis持久化方式之一,RDB把数据库某一时刻的内容,也就是 快照 ,以二进制的方式记录到文件,并且在下次启动的时候可以用来初始化Redis; RDB最重要的两个过程是rdbSave和rdbLoad,下面我就这两个过程分别叙述; rdbSave 在具体看rdbSave过程之前,我们先看下RDB文件格式: **我们可以简单思考下,RDB文件协议为什么会那样设计? ** RDB文件以**"REDIS"**开头是为了区分普通文件,这样redis在加载的时候,…
2013-09-25 11:27 · Redis · 评论(0)
《Redis源码学习笔记》AOF
《Redis源码学习笔记》文章列表 由于图片较大,缩放较为模糊,请双击打开查看原图 ^_^ Redis提供两种持久化方式,RDB和AOF;与RDB不同,AOF可以完整的记录整个数据库,而不像RDB只是数据库某一时刻的快照; 那么AOF模式为什么可以完整的记录整个数据库呢? 原理 :在AOF模式下,Redis会把执行过的每一条更新命令记录下来,保存到AOF文件中;当Redis需要恢复数据库数据时,只需要从之前保存的AOF文件中依次读取命令,执行即可 eg. 我们执行了以下命令: redis 127.0.0.1:6379> set name diaocow OK redis 127.0.0.1:…
2013-09-23 16:34 · Redis · 评论(0)
《Redis源码学习笔记》键过期
《Redis源码学习笔记》文章列表 Redis可以为数据库中的每一个键关联一个过期时间,当到达指定时间后Redis就会把该键从数据库中删除,eg: redis 127.0.0.1:6379> setex name 5 diaocow # 为键name设置5秒的过期时间 OK redis 127.0.0.1:6379> 5 秒后... redis 127.0.0.1:6379> get name # 键过期被删除,返回nil (nil) 那这一切Redis究竟是怎么实现的呢? 在RedisDb中维护了一个expires字典,其中的键就是那些已经设置了过期时间的键,而键值就是该键的过期时间(毫秒…
2013-09-09 07:35 · Redis · 评论(0)
《Redis源码学习笔记》主从复制
《Redis源码学习笔记》文章列表 由于图片较大,缩放较为模糊,请双击打开查看原图 ^_^ 主从复制简单来说就是把一台redis数据库中的数据同步到另一台redis数据库,并且按照数据流向,数据的发送者我们称作master,数据的接受者我们称作slave(master/slave的划分并不是那么一定的,譬如B可以作为A的slave,但同时也可以作为C的master),下面就从slave和master的角度分别说明主从复制流程。 首先是slave端,对于slave端来说,主从复制主要经历四个阶段: 第一阶段:与master建立连接 第二阶段:向master发起同步请求(SYNC) 第三阶段:接…
2013-09-09 07:34 · Redis · 评论(0)
《Redis源码学习笔记》事务
《Redis源码学习笔记》文章列表 Redis中的事务,提供了一种“ 将多个命令打包并且一次执行 ”的方式; 当用户输入MULTI命令时,就打开了客户端REDIS_MULTI选项,客户端从“非事务状态”切换到“事务状态” 之后客户端执行的所有命令都不会被Redis立即执行,而是放到客户端的“命令队列”里去(服务器返回QUEUED字样,表示命令已经入队),当客户端发出EXEC命令(表示客户端需要执行事务),这时候Redis从客户端的“命令队列”里依次取出命令执行,eg: redis 127.0.0.1:6379> multi # 客户端进入事务状态 OK redis 127.0.0.1:637…
2013-09-08 16:01 · Redis · 评论(0)
《Redis源码学习笔记》发布/订阅
《Redis源码学习笔记》文章列表 Redis的SUBSCRIBE命令,可以让客户端订阅任意数量的频道,每当有新消息发送到某个频道时,Redis就会把这消息发送给所有订阅该频道的客户端;如下图:客户端Client_1,Client_2,Client_3都订阅了频道channel,当有消息PUBLISH到频道channel时,这三个客户端都将收到消息: 原理 :RedisServer内部维护了一个pubsub_channels字典,其中字典的键就是被订阅的频道,而键值就是订阅该频道的客户端列表; 这样,当一个客户端执行PUBLISH channel_name命令时,Redis就可以根据chan…
2013-09-08 16:01 · Redis · 评论(0)
《Redis源码学习笔记》事件库
《Redis源码学习笔记》文章列表 Redis没有使用第三方事件库来处理socket(譬如Libevent),而是自己实现了一个非常精巧的事件库(加上注释不到600行代码),这使得我们可以更加专注于Redis本身代码的阅读,而不必陷于三方库的学习和使用(我自己就是因为该原因选择学习Redis而不是memcache);同时阅读Redis自带的事件库也可以让我们一窥类似Libevent这样的事件库内部实现机制; Redis事件库中的所有函数几乎都是以ae开头(原因不得而知),其中最重要的就是aeEventLoop对象,它充当着“事件处理器”角色: 其中“文件事件”是一个数组,存放当前Redis所…
2013-09-08 16:01 · Redis · 评论(0)
《Redis源码学习笔记》数据结构-字典
《Redis源码学习笔记》文章列表 由于图片较大,缩放较为模糊,请双击打开查看原图 ^_^ 要看懂redis代码,其中重要的一步就是要看懂它里面所使用的数据结构,而在这不算少的数据结构中,最重要的就是字典,它几乎就是redis实现各种功能的骨架,所以理解好字典至关重要! redis作为一个nosql数据库,所有的key-value都是存储在一个字典中,而字典则是用哈希表实现的;关于哈希表原理,随便上网查一下都能找到一大堆资料,因此这里我也不想做过多赘述,直接开门见山,看下在redis中哈希表是什么样的: 上图所示结构对应代码如下: // 字典 typedef struct dict { //…
2013-09-08 16:01 · Redis · 评论(0)
《Redis源码学习笔记》文章列表
《Redis源码学习笔记》数据结构-字典 《Redis源码学习笔记》事件库 《Redis源码学习笔记》事务 《Redis源码学习笔记》发布/订阅 《Redis源码学习笔记》主从复制 《Redis源码学习笔记》键过期 《Redis源码学习笔记》RDB 《Redis源码学习笔记》AOF 未完成: <《Redis源码学习笔记》配置文件(TODO)> 10.<《Redis源码学习笔记》集群(TODO)> 11.<《Redis源码学习笔记》问题集(TODO)> 参考资料: redis设计与实现 非常棒的参考资料,作者并没有细致的罗列代码细节,而是通过一系列图片以及伪代码站在高角度去分析redis,这能…
2013-09-08 16:01 · Redis · 评论(0)
【Python】Webpy 源码学习(一)
自己是个python新手,之前买了本<<python核心编程>>,但看了一半实在看不下去了(内容过于啰嗦,而且在关键点的地方又浅尝辄止),所以希望通过阅读一些简单的开源项目来快速提高python水平,最终让我发现了webpy这个好东西! 那么webpy是什么呢? 阅读它的源码我们又能学到什么呢? 简单说webpy就是一个开源的web应用框架(官方首页: http://webpy.org/ ) 它的源代码非常整洁精干,学习它一方面可以让我们快速了解python语法(遇到看不懂的语法就去google),另一方面可以学习到python高级特性的使用(譬如反射,装饰器),而且在webpy中还内置了一…
2013-08-09 21:25 · Python · 评论(0)
【读书笔记】《Unix环境高级编程》第四章 Files and Directories
看完了该章,觉得最重要的是需要了解以下几个方面: a.stat结构 b.进程权限及作用 c.文件相关属性(访问权限,文件时间等等) d.unix文件系统(inode和block关系) 现在我就以流水账^_^的形式对上述几个方面做个总结: ---------------------------------------------------------------华丽风格线--------------------------------------------------------------- 1.获取指定文件的stat结构 int stat(const char *restrict pa…
2013-02-25 16:21 · 读书笔记 · 评论(0)
【读书笔记】 《Unix环境高级编程》第三章 File I/O
对于unix系统而言,一切皆“文件”,所以我们就可以使用一套基本的IO函数,来对所有的“文件”进行读写操作!现在我们来看下文件操作的几个底层IO 1.open函数用来打开或创建一个文件,其函数原型如下: int open(const char *pathname, int oflag, ... /* mode_t mode */); 第一个参数pathname用来指定需要打开的文件名; 第二个参数oflag用来指定打开文件的方式以及其他一些附加属性,常用的值有: |O_RDONLY |只读| |O_WRONLY |只写| |O_RDWR |读写| 以上三个属性必须指定一个,但是下列属性是可选…
2013-02-25 16:16 · 读书笔记 · 评论(0)
Erlang rebar源码学习(二)
之前说了rebar编译的核心部分(rebar_base_compile:run/4方法),现在我们就完整的看下Erlang编译流程( 不准备细致的分析每一行代码,只罗列其中较为重要的部分 ) 编译的入口方法是: ** rebar_erlc_compiler:compile/2** 其中doterl_compile负责编译我们写的Erlang源代码文件,我们来看下它的相关代码 注意观察第208行代码,这就是我们上一节说的核心编译部分(串行编译和并行编译),其中: fun(S, C) -> internal_erl_compile(C, S, OutDir1, ErlOpts) end 用来做为…
2013-01-28 11:27 · Erlang · 评论(0)
Erlang rebar源码学习(一)
最近看霸爷的微博( http://weibo.com/tchuba )提到,rebar( https://github.com/basho/rebar )是学习Erlang很好的材料,因此作为Erlang新手,自己也把源码下载下来看了下,确实发现代码写的非常优雅工整,里面的每个方法(函数)写的都很短小干练,的确可以作为写Erlang代码的范例! 那么rebar是什么呢? 如果你是Java程序员,那么你一定知道maven,maven可以用来构建java工程项目,并且提供jar包版本管理,编译,项目打包等一系列操作,而rebar就像maven一样,提供了对Erlang工程的构建,编译,依赖管理等…
2013-01-27 17:34 · Erlang · 评论(0)
Eralng ets学习总结
ets是什么? ets是Erlang Term Storage的缩写,它是一个基于内存的KV Table,支持大数据量存储以及高效查询. ets有4种类型的table: |set|table中的每一个Value(Tuple)都是唯一,并且一个Key只能对应一个Value| |ordered_set|同set,唯一不同的是table中的Key是有序的| |bag|table中的每一个Value都是唯一,但是一个key可以对应多个Value| |duplicate_bag|table中每一个key可以对应多个Value,并且允许Value重复| 那么table中的Key如何定义,Value又是什…
2013-01-13 13:57 · Erlang · 评论(0)