Redis数据结构

Redis数据结构

Redis的键值对都是由对象组成:

  • Key总是一个String对象

  • Value有多种对象,比如字符串对象、列表对象(list)、哈希对象(hash)、集合对象(set)、有序集合对象(sorted set object)

    以下就来介绍其相应的数据结构

mark

字符串对象

在Redis中的字符串对象,都是通过SDS(简单动态字符串)来进行存储的,它是一个结构体,可进行动态变动;结构体内容如下:

1
2
3
4
5
6
7
8
9
10
11
struct sdshdr {
//记录buf数组中已使用字节的数量
//等于SDS所保存字符串的长度
int len;//实际长度

//记录buf数组中未使用字节的数量
int free;//剩余长度

//字节数组,用于保存字符串
char buf[] ;//存放字符串
};

比起C字符串优点

  • 常数复杂度获取字符串长度

  • 杜绝缓冲区溢出

    • C字符串在进行字符串拼接时,初始空间不够的话会溢出,覆盖内存
    • 而SDS会根据free来判断是否还有足够空间,若不够,则扩大空间,再进行字符串拼接

链表

链表被广泛用于实现Redis的各种功能,比如列表键、发布与订阅、慢查询、监视器等。

链表在Redis中的应用非常广泛,比如列表键的底层实现之一就是链表。当一个列表键包含了数量比较多的元素,又或者列表中包含的元素都是比较长的字符串时,Redis就会使用链表作为列表键的底层实现。

数据结构

  • 链表节点数据结构
1
2
3
4
5
6
7
8
typedef struct listNode {
//前置节点
struct 1 istNode * prev;
//后置节点
struct listNode * next;
//节点的值
void * value;
} listNode;
  • 链表数据结构
1
2
3
4
5
6
7
8
9
10
11
12
13
14
typedef struct list {
//表头节点
1 istNode * head;
//表尾节点
listNode * tail;
//链表所包含的节点数量
unsigned long len;
//'节点值复制函数
void *(*dup) (void *ptr) ;
//节点值释放函数
void (*free) (void *ptr) ;
//节点值对比函数
int (*match) (void *ptr,void *key) ;
. } list;

list结构为链表提供了表头指针head、表尾指针tail,以及链表长度计数器len,
而dup、free和match成员则是用于实现多态链表所需的类型特定函数:

  • dup函数用于复制链表节点所保存的值;

  • free函数用于释放链表节点所保存的值;

  • match函数则用于对比链表节点所保存的值和另-一个输人值是否相等。

优点

  • 双端:链表节点带有prev和next指针,获取某个节点的前置节点和后置节点的复杂度都是0(1)。.
  • 无环:表头节点的prev指针和表尾节点的next指针都指向NULL,对链表的访问以NULL为终点。
  • 带表头指针和表尾指针:通过list结构的head指针和tail指针,程序获取链表的表头节点和表尾节点的复杂度为0(1)。
  • 带链表长度计数器:程序使用list结构的len属性来对list持有的链表节点进行计数,程序获取链表中节点数量的复杂度为0(1)
  • 多态:链表节点使用void*指针来保存节点值,并且可以通过list结构的dup、free、match三个属性为节点值设置类型特定函数,所以链表可以用于保存各种不同类型的值。

字典

字典,又称为符号表( symbol table )、关联数组( associative array)或映射( map),是一种用于保存键值对( key-value pair )的抽象数据结构。

字典在Redis中的应用相当广泛,比如Redis的数据库就是使用字典来作为底层实现的,对数据库的增、删、查、改操作也是构建在对字典的操作之上的。

除了用来表示数据库之外,字典还是哈希键的底层实现之一,当一个哈希键包含的键值对比较多,又或者键值对中的元素都是比较长的字符串时,Redis就会使用字典作为哈希键的底层实现。

字典的实现

Redis的字典使用哈希表作为底层实现,-一个哈希表里面可以有多个哈希表节点,而每个哈希表节点就保存了字典中的一个键值对。

哈希表

1
2
3
4
5
6
7
8
9
10
11
typedef struct dictht {
//哈希表数组
dictEntry **table;
//哈希表大小
unsigned long size;
//哈希表大小掩码,用于计算索引值
//总是等于size-1
unsigned long si zemask;
//该哈希表已有节点的数量
unsigned long used;
} dictht;
  • table属性是一个数组,数组中的每个元素都是一个指向dict. h/dictEntry结构的指针,每个dictEntry结构保存着一个键值对(**表示table指向一个一维数组的首地址,table内部的每个元素又指向一个一维元素的首指针,但是其作用仅仅时指针,而不是表示数组,用来解决哈希冲突)
  • 哈希表底层就是数组+链表

哈希表节点

1
2
3
4
5
6
7
8
9
10
11
12
typedef struct dictEntry {
//键
void *key;
//值
union{
void *val ;
uint64_ tu64;
int64 ts64;
}V;
//指向下个哈希表节点,形成链表
struct dictEntry *next;
} dictEntry;

字典实现

1
2
3
4
5
6
7
8
9
10
11
typedef struct dict {
//类型特定函数
dictType *type;
//私有数据
void *privdata;
//哈希表
dictht ht[2] ;
// rehash 索引
//当rehash不在进行时,值为-1
int rehashidx; /* rehashing not in progress" if rehashidx == -1 */
} dict;
  • ht属性是一个包含两个项的数组,数组中的每个项都是一个dictht哈希表,一般情况下,字典只使用ht[0]哈希表,ht[1]哈希表只会在对ht[0]哈希表进行rehash时使用。
  • rehashidx用来记录rehash时的count计数

哈希算法

1
index = hash & sizemask //sizemask为table.length - 1,与java的索引计算相同,都是通过2^n计算索引

rehash

步骤:
  1. 为字典的ht[1]哈希表分配空间,这个哈希表的空间大小取决于要执行的操作,以及ht[0]当前包含的键值对数量(也即是ht [0] .used属性的值):
    1. 扩容操作,size为ht [0] .used*2(最靠近这个值的2的幂次方)
    2. 收缩操作,size为ht [0] .used(最靠近这个值的2的幂次方)
  2. 将ht[0]的元素通过rehash(即重新计算哈希值和索引值),然后将键值对放置到ht[1]中,并将ht[0]中的元素空间释放
  3. 当ht[0]包含的所有键值对都迁移到了ht[1]之后(ht[0]变为空表),释放ht[0],将ht[1]设置为ht[0],并在ht[1]新创建一个空白哈希表,为下一次rehash做准备。
渐进式rehash

扩展或收缩哈希表需要将ht[0]里面的所有键值对rehash到ht [1]里面,但是,这个rehash动作并不是一次性地完成的,而是渐进式地完成的。这样可以避免在将键值对放置到ht[1]时,由于庞大的计算量导致服务器停顿时间过长

过程:

在给ht[1]分配好空间后,每当我们对字典进行增删改查时,顺带将ht[0]的元素放置到ht[1]中,并且rehashidx加一,直到ht[0]的元素所有被rehash完毕,则rehashidx置为-1

注意:查找时,先查找ht[0]再查找ht[1],再进行添加时,元素只会被添加进ht[1],保证ht[0]元素不会再增加;

跳跃表

跳跃表(skiplist)是一种有序数据结构,它通过在每个节点中维持多个指向其他节点的指针,从而达到快速访问节点的目的。

跳跃表支持平均O(logN)、最坏O(N)复杂度的节点查找,还可以通过顺序性操作来批量处理节点。

用途:

  1. 实现有序集合键
  2. 集群节点中用作内部数据结构

跳跃表的实现

跳跃表节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
typedef struct zskiplistNode {
//层
struct zskipl istLevel {
//前进指针
struct zskiplistNode *forward;
//跨度
unsigned int span;
} level [] ;
//后退指针
struct zskiplistNode *backward;
//分值
double score;
//成员对象
robj *obj ;
} zskiplistNode;

四个属性:

  1. 层:跳跃表节点的level数组可以包含多个元素,每个元素都包含一个指向其他节点的指针,程序可以通过这些层来加快访问其他节点的速度,–般来说,层的数量越多,访问其他节点的速度就越快。
    1. 前进指针:每个层都有一个指向表尾方向的前进指针( level [i] . forward属性),用于从表头
      向表尾方向访问节点。
    2. 跨度:层的跨度( level[i] .span属性)用于记录两个节点之间的距离:
      • 两个节点之间的跨度越大,它们相距得就越远。
      • 指向NULL的所有前进指针的跨度都为0,因为它们没有连向任何节点。
        初看上去,很容易以为跨度和遍历操作有关,但实际上并不是这样,遍历操作只使用前
        进指针就可以完成了,跨度实际上是用来计算排位( rank)的:在查找某个节点的过程中,
        将沿途访问过的所有层的跨度累计起来,得到的结果就是目标节点在跳跃表中的排位。
  2. 后退指针:节点的后退指针( backward属性)用于从表尾向表头方向访问节点:跟可以一-次跳过多个节点的前进指针不同,因为每个节点只有一一个后退指针,所以每次只能后退至前一一个节点。
  3. 分值:节点的分值(score属性)是一个double类型的浮点数,跳跃表中的所有节点都按分值从小到大来排序。
  4. 成员对象:节点的成员对象(obj属性)是-一个指针,它指向一个字符串对象,而字符串对象则保存着一个SDS值。

跳跃表

1
2
3
4
5
6
7
8
typedef struct zskiplist {
//表头节点和表尾节点
structz skiplistNode *header, *tail;
//表中节点的数量
unsigned long length;
//表中层数最大的节点的层数,查找时利用此属性从顶层开始查找
int level ;
} zskiplist;
查找

我们以查找19为例。图解查找过程。

img

先从最上层的跳跃区间大的层開始查找。从头结点開始。首先和23进行比較,小于23,(此时查找指针在图中“1”位置处)。查找指针到下一层继续查找。

然后和9进行推断,大于9,查找指针再往前走一步和23比較,小于23。(此时查找指针在图中“2”位置处) 此时这个值肯定在9结点和23结点之间。查找指针到下一层继续查找。

然后和13进行推断。大于13,查找指针再往前走一步和23比較,小于23,(此时查找指针在图中“3”位置处)此时这个值肯定在13结点和23结点之间。查找指针到下一层继续查找。

此时,我们和19进行推断。找到了。

插入

插入和删除的实现很像对应的链表操作。除了”高层”元素必须在多个链表中插入或删除之外。

插入包括例如以下几个操作:1、查找到须要插入的位置 2、申请新的结点 3、调整指针。

由于找到插入点之后,新生成节点,新节点按概率出如今每层上,故须要保存全部层的后继指针。我们用一个暂时数组保存全部层的插入点处的后继指针。

在寻找插入点的时候就能够完毕赋值。

1
2
3
4
5
6
for(i = list->level; i >= 0; --i){  
while(x->forward[i]->key < key){
x = x->forward[i];
}
update[i] = x; //记录后继
}

img

删除

删除操作类似于插入操作,包括例如以下3步:1、查找到须要删除的结点 2、删除结点 3、调整指针相同。须要一个暂时数组保存每层的指针域。原理和插入类似。不再赘述。

整数集合

整数集合( intset)是集合键的底层实现之一,当一个集合只包含整数值元素,并且这个集合的元素数量不多时,Redis就会使用整数集合作为集合键的底层实现,并且保证整数的有序性。

实现

1
2
3
4
5
6
7
8
typedef struct intset {
//编码方式
uint32_ t encoding;
//集合包含的元素数量
uint32_ t length;
//保存元素的数组
int8_ t contents[] ;
} intset;

升级

每当我们要将-个新元素添加到整数集合里面,并且新元素的类型比整数集合现有所有元素的类型都要长时,整数集合需要先进行升级(upgrade),然后才能将新元素添加到整数集合里面。

步骤:

  • 升级整数集合并添加新元素共分为三步进行:
    • 根据新元素的类型,扩展整数集合底层数组的空间大小,并为新元素分配空间。
    • 将底层数组现有的所有元素都转换成与新元素相同的类型,并将类型转换后的元素放置到正确的位上而且在放置元素的过程中,需要继续维持底层数组的有序性质不变(保证元素有序)
    • 将新元素添加到底层数组里面

升级的好处

  • 提升灵活性:因为C语言是静态类型语言,为了避免类型错误,我们通常不会将两种不同类型的值放在同一个数据结构里面。
  • 节约内存:整数集合现在的做法既可以让集合能同时保存三种不同类型的值,又可以确保升级操作只会在有需要的时候进行,这可以尽量节省内存

压缩链表

压缩列表( ziplist )是列表键和哈希键的底层实现之一。当一个列表键只包含少量列表项,并且每个列表项要么就是小整数值,要么就是长度比较短的字符串,那么Redis就会使用压缩列表来做列表键的底层实现。另外,当一个哈希键只包含少量键值对,比且每个键值对的键和值要么就是小整数值,要么就是长度比较短的字符串,那么Redis就会使用压缩列表来做哈希键的底层实现。

压缩链表构成

压缩列表是Redis为了节约内存而开发的,是由一系列特殊编码的连续内存块组成的顺序型( sequential)数据结构。-一个压缩列表可以包含任意多个节点(entry),每个节点可以保存一个字节数组或者一个整数值

mark

压缩节点构成

每个压缩列表节点可以保存-一个字节数组或者一个整数值,其中,字节数组可以是以下三种长度的其中一种:

  • 长度小于等于63 ( 2°-1 )字节的字节数组;
  • 长度小于等于16383 (24-1 )字节的字节数组;
  • 长度小于等于4294967295 (232-1 )字节的字节数组;

整数值则可以是以下六种长度的其中一种:

  • 4位长,介于0至12之间的无符号整数;
  • 1字节长的有符号整数;
  • 3字节长的有符号整数;
  • int16_ t类型整数;
  • int32_ t类型整数;
  • int64 t类型整数。
0%