Redis数据结构与存储

  

一.概述:

    Redis从大的方面来说,就是一个K-V数据库(或cache);但是redis还提供了对复杂数据结构的操作,比如set/list/map,因此它需要具备对复杂数据的高效查询;此外它还提供了故障恢复特性,因此它需要具备数据持久化(文件操作)能力。

##如下为Reis顶层数据结构,redisDB实例表示为一个"database",任何K-V/expire信息均隶属一个db
##一个redis可以有多个databse,参见配置文件
//redis.h(源码)
typedef struct redisDb {
    dict *dict;                 /* The keyspace for this DB */
    dict *expires;              /* Timeout of keys with a timeout set */
    dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP) */
    dict *ready_keys;           /* Blocked keys that received a PUSH */
    dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS */
    int id;                     /*DB 索引号*/
} redisDb;

     此数据结构将会在redis与client交互中/以及后台worker中不断的调整和修改。顶层数据结构维护了K-V表/过期key集合/基于阻塞操作的Key集合/基于事务的watch-key集合等。其中K-V表就是一个hashtable,此表维护了“k-v对”集合,无论是查询还是插入,均基于HASH,HASH的默认尺寸为2,此后会根据“需要”做rehash操作(2*N),对于HASH冲突的解决(参见其他关于rehash原理),V的直接数据结构是linkedlist。dict数据结构可以参见dict.h源码
    key就是简单的string,key似乎没有长度限制,不过原则上应该尽可能的短小且可读性强,无论是否基于持久存储,key在服务的整个生命周期中都会在内存中,因此减小key的尺寸可以有效的节约内存,同时也能优化key检索的效率。
    value在redis中,存储层面仍然基于string,在逻辑层面,可以是string/set/list/map,不过redis为了性能考虑,使用不同的“encoding”数据结构类型来表示它们。(例如:linkedlist,ziplist等)。
    Redis-server与client交互过程中以及value值的保存,使用的string称为sds:Simple Dynamic Strings,即简单动态字符串,它的实现原理和java中StringBuffer/StringBuilder如出一辙,这种结构很适合字符串长度无法预期或者允许区间操作的场景,这只是一种技巧。


    key默认为“不过期”,可以通过“EXPIRE”/“PEXPIRE”来指定key过期的时间(秒/毫秒),具有“过期”时间的key将会被添加到expires集合中,如果redis为“持久存储”,那么每个key的过期信息也将被序列化到rdb文件中;可以通过“PERSIST”来移除key的过期控制,此后key将处于“永不过期”状态。可以通过“TTL”/“PTTL”来查看key尚能“存活”的时间(剩余时间值)。


    redis将过期时间转换成时间戳而保存起来,时间戳的计算将使用本地时间,对于key过期检测是通过将“过期时间”与本地时间(戳)比较,因此随意调整本地时间,将有可能导致redis对“过期控制”出现意外,比如将时间前进一天将会导致部分key直接过期;在数据恢复时,也会检测key是否过期,如果redis停机时间过久,那么会导致大量key过期,对于过期的key将直接丢弃;如果你的数据恢复文件来自其他server,且两个server的本地时间差距较大,也会导致上述问题。(参见db.c)“DEL”操作将会导致key删除,同时也会在expries集合中删除。在redis中(包括memcached)只有set/getset操作会重置“过期控制”,其他的任何读取/修改操作都不会“触及”(touch)过期时间(当然“expire”/“persist”除外).Redis对于过期检测,有2种方式,一个主动检测,一个是被动检测;在redis和client交互过程中,对于任何数据的操作,都会首先检测key是否已经过期,这是被动检测;主动检测是Redis启动的后台线程中,不间断的随机扫描一定量的key(randomKey),并对key进行过期检测。对于过期的key,将会被直接丢弃(伴生“DEL”操作)。因为slave不具备主动检测机制,master对于过期的key将会以一个“DEL”操作同步到salve中;如果采取的是AOF方式,也是以“DEL”指令append到文件中。

二.文件存储格式

    如果你开启了snapshot功能,那么数据将会间歇性的同步到rdb文件中(binary文件)。

#摘自redis#
FE 00                       # FE = code that indicates database selector. db number = 00
----------------------------# Key-Value pair starts
FD $unsigned int            # FD indicates "expiry time in seconds". After that, expiry time is read as a 4 byte unsigned int
$value-type                 # 1 byte flag indicating the type of value - set, map, sorted set etc.
$string-encoded-key         # The key, encoded as a redis string
$encoded-value              # The value. Encoding depends on $value-type

    可以通过“vim”指令查看此文件,不过阅读起来不是很方便。每条数据,都以特殊的字节标记开头,数据中包括“过期时间”/“value数据类型”“key”/“value数据”;基本上可以通过有序的读取字节序列的方式,即可恢复结构化的K-V逻辑结构。K-V字节存储结构图

   

##过期时间:秒
[FD][过期时间戳:4个字节][value类型:一个字节][key字符串][value字符串]
##过期时间:毫秒
[FC][过期时间戳:8个字节][value类型:一个字节][key字符串][value字符串]
##无过期
[value类型:一个字节][key字符串][value字符串]

##其中FD/FC是一个标记前缀,一个字节,16进制表示,读取数据是,如果第一个字节不是FD/FC,那么它就是一个“无过期时间”的K-V。

   1) value类型

##摘自redis
0 = “String Encoding”
1 = “List Encoding”
2 = “Set Encoding”
3 = “Sorted Set Encoding”
4 = “Hash Encoding”
9 = “Zipmap Encoding”
10 = “Ziplist Encoding”
11 = “Intset Encoding”
12 = “Sorted Set in Ziplist Encoding”
13 = “Hashmap in Ziplist Encoding”

    value类型用来指示文件解析者,将当前“K-V”以何种数据结构来表示。在Redis中目前有这13种数据结构,稍后逐一介绍。

    2) key字符串:

    因为基于字节流的方式解析,所以我们需要知道key的长度(后驱偏移量):[位计算:前缀与长度][字符串值]

    可能考虑节约空间或者其他考虑,key的解析有点奇怪,首先读取一个字节,并检测此字节的前2位(bit),这2位数据是用来标记key的长度特征:

    00: 此字节的剩余6位则表示“长度”

    01: 此字节的剩余6位以及下一个字节的8位,共14位来表示“长度”

    10: 此字节不参与计算,将直接读取4个字节,这4个字节表示“长度”

    11: 一种特殊格式,剩余的6位用来表示格式信息,此种情况出现在value中,表示此value为一个integer类型数据:

##如果剩余6位的值为如下:
0:     8位integer
1:     16位integer
2:     32位integer

   

    key的特征已经分析完毕,接下来直接读取一定“长度”的字节并编码成string即可,此string就是KEY。

    3) value字符串:

    此前已经有一个字节表示value-type,那么读取value就非常简单,那照2)中读取key字符串的方式读取出value的字符串,此后就可以根据value-type对字符串进行相应的解析,并构建逻辑数据结构。

    在redis文件解析中,有2中方式:length-encoding,string-encoding;length-encoding主要的目的就是将字节码(不可读)数据使用“字节码成帧”手段,按照“[字节长度][字节序列]”的方式,读取“字节序列”并按照“字符编码(UTF-8)”的方式转换成字符串的过程。string-encoding,是对字符串使用“格式约束”手段解析成特定逻辑API的过程,例如将“1,2,3,4”转换成一个数组{1,2,3,4}.

三.数据结构概述

    1)查看value类型:

   

redis 127.0.0.1:6379> lpush testlist 0
(integer) 1
redis 127.0.0.1:6379> type testlist
list
redis 127.0.0.1:6379> object encoding testlist
"ziplist"

    ”type“指令用来查看value的类型,“object encoding”用来查看value的编码类型。在Redis中type有如下几种值:

  • string:以简单字符串存储(简单动态字符串,SDS),对于普通的简单数据,均为string类型,包括数字(incr操作)。
  • <strong><em>list</em></strong>: 列表,存储线性顺序数据,通过“lpush”操作而创建的数据结构,编码类型包括:ziplist,linkedlist。默认为ziplist。
  • set:集合,储存散列数据且数据不可重复,通过“sadd"操作而创建的数据结构,编码类型包括:intset,hashtable。
  • zset:有序集合,和set区别就是它可以根据指定的“权重”进行排序,内部基于list存储而非hashtable,通过“zadd”操作创建,编码类型包括:ziplist,skiplist。
  • hash:存储K-V复合数据结构,通过“hset”操作创建,编码类型包括:ziplist,hashtable。

四.string

    string类型是redis中默认的类型,对于任何没有指定“类型”的数据结构,都是string,其中包括incr操作创建的integer等;string本身即为字符串数组,redis提供了一个“string api”列表,允许对string进行复杂的操作,有点类型java中string的方法:

  • APPEND key value:对将vaue值追加到原字符串之后。
  • GETRANGE key start end:获取start~end区间的字符串。
  • SETRANGE key offset value:从offset位置开始,将原字符串的值替换为value,只替换同等长度的字符串(覆盖)
  • STRLEN:获取当前值的字符串长度。
    如果string的值可以被正确编码成integer,那么此字符串还支持INCR/DECR操作。
    SDS的内部数据结构非常类似于JAVA中的StringBuffer,在为string分配内存时,空间大小为实际length的2倍,比如“hello”字符串需要5个字节,那么将会分配10个字节(其实为11个,“\0”是每个字符串的终结符),这意味着每个SDS创建后有一半的空间是“空闲的”;当SDS内容变更时,如果所需长度不超过当前buffer容量,将不会重新分配内存空间,而是直接重用,即使变更后的内容所需长度更小,SDS也不会进行“缩减”空间;如果所需的空间更大,比如将“hello”修改为”hello world,redis!”,那么此时将会重新分配新的内存空间,SDS的容量为新内容的length的2倍;之所以如此设计,Redis考虑到内存重新分配的开销,减少内存分配的次数,以提高性能。
    SDS的内存重新分配时还有一点小技巧,如果字符串长度小于1M时,那么将分配的容量是实际字符串长度的2倍,即buffer中实际占用空间和空闲空间各占一半;如果字符串长度大于1M时,Redis只分配1M的空闲空间,不会再按照2倍的方式分配。

五.list:

    list是一种最常用的线性存储结构,基于list的各种优化算法也很多,redis使用list来存储一些对插入顺序/排序有要求的数据;同时因为list是一种最轻量级的数据结构,而且当list中数据较少时,其查询复杂度接近o(1),因此对于一些hash结构,数据较少时redis也使用了list来表示它们。

    如下为list的常用的变更操作:

  • LREM key count value:根据指定的查找顺序,遍历list并删除和“value”相等的元素;其中count为0表示删除所有,<0表示倒序遍历,>0表示正序。
  • LSET key index value:将指定index的元素替换成新值。
  • LTRIM key start stop:移除start~stop之间的元素
  • LINSERT key before|after index value:在指定索引的前/后插入一个新元素。
    因为list本身具备“元素插入顺序”的自然特性,因为list常常可以作为“队列”而使用,redis也提供了“队列”的功能(阻塞模式,双端队列):

相关推荐