Redis数据结构之skiplist续

本文摘抄于《Rdis内部数据结构详解-skiplist》

一、skiplist的由来

skiplist,顾名思义,首先它是一个list。实际上,它是在有序链表的基础上发展起来的。

我们先来看一个有序链表,如下图(最左侧的灰色节点表示一个空的头结点):

在这样一个链表中,如果我们要查找某个数据,那么需要从头开始逐个进行比较,直到找到包含数据的那个节点,或者找到第一个比给定数据大的节点为止(没找到)。也就是说,时间复杂度为O(n)。同样,当我们要插入新数据的时候,也要经历同样的查找过程,从而确定插入位置。

假如我们每相邻两个节点增加一个指针,让指针指向下下个节点,如下图:

这样所有新增加的指针连成了一个新的链表,但它包含的节点个数只有原来的一半(上图中是7,19,26)。现在当我们想查找数据的时候,可以先沿着这个新链表进行查找。当碰到比待查数据大的节点时,再回到原来的链表中进行查找。比如,我们想查找23,查找的路径是沿着下图中标红的指针所指向的方向进行的:

23首先和7比较,再和19比较,比它们都大,继续向后比较。

但23和26比较的时候,比26要小,因此回到下面的链表(原链表),与22比较。

23比22要大,沿下面的指针继续向后和26比较。23比26小,说明待查数据23在原链表中不存在,而且它的插入位置应该在22和26之间。

在这个查找过程中,由于新增加的指针,我们不再需要与链表中每个节点逐个进行比较了。需要比较的节点数大概只有原来的一半。

利用同样的方式,我们可以在上层新产生的链表上,继续为每相邻的两个节点增加一个指针,从而产生第三层链表。如下图:

在这个新的三层链表结构上,如果我们还是查找23,那么沿着最上层链表首先要比较的是19,发现23比19大,接下来我们就知道只需要到19的后面去继续查找,从而一下子跳过了19前面的所有节点。可以想象,当链表足够长的时候,这种多层链表的查找方式能让我们跳过很多下层节点,大大加快查找的速度。

skiplist正是受这种多层链表的想法的启发而设计出来的。实际上,按照上面生成链表的方式,上面每一层链表的节点个数,是下面一层的节点个数的一半,这样查找过程就非常类似于一个二分查找,使得查找的时间复杂度可以降低到O(logn)。但是,这种方法在插入数据的时候有很大的问题。新插入一个节点之后,就会打乱上下相邻两层链表上节点个数严格的2:1的对应关系。如果要维持这种对应关系,就必须把新插入的节点后面的所有节点(也包括新插入的节点)重新进行调整,这会让时间复杂度重新蜕化成O(n)。删除数据也有同样的问题。

skiplist为了避免这一问题,它不要求上下相邻两层链表之间的节点个数有严格的对应关系,而是为每个节点随机出一个层数(lvl)。比如,一个节点随机出的层数是3,那么就把它链入到第1层到第3层这三层链表中。为了表达清楚,下图展示了如何通过一步步的插入操作从而形成一个skiplist的过程:

从上面skiplist的创建和插入过程可以看出,每一个节点的层数(lvl)是随机出来的,而且新插入一个节点不会影响其它节点的层数。因此,插入操作只需要修改插入节点前后的指针,而不需要对很多节点都进行调整。这就降低了插入操作的复杂度。实际上,这是skiplist的一个很重要的特性,这让它在插入性能上明显优于平衡树的方案。这在后面我们还会提到。

根据上图中的skiplist结构,我们很容易理解这种数据结构的名字的由来。skiplist,翻译成中文,可以翻译成“跳表”或“跳跃表”,指的就是除了最下面第1层链表之外,它会产生若干层稀疏的链表,这些链表里面的指针故意跳过了一些节点(而且越高层的链表跳过的节点越多)。这就使得我们在查找数据的时候能够先在高层的链表中进行查找,然后逐层降低,最终降到第1层链表来精确地确定数据位置。在这个过程中,我们跳过了一些节点,从而也就加快了查找速度。

刚刚创建的这个skiplist总共包含4层链表,现在假设我们在它里面依然查找23,下图给出了查找路径:

需要注意的是,前面演示的各个节点的插入过程,实际上在插入之前也要先经历一个类似的查找过程,在确定插入位置后,再完成插入操作。

至此,skiplist的查找和插入操作,我们已经很清楚了。而删除操作与插入操作类似,我们也很容易想象出来。这些操作我们也应该能很容易地用代码实现出来。

当然,实际应用中的skiplist每个节点应该包含ky和valu两部分。前面的描述中我们没有具体区分ky和valu,但实际上列表中是按照ky进行排序的,查找过程也是根据ky在比较。

但是,如果你是第一次接触skiplist,那么一定会产生一个疑问:节点插入时随机出一个层数,仅仅依靠这样一个简单的随机数操作而构建出来的多层链表结构,能保证它有一个良好的查找性能吗?为了回答这个疑问,我们需要分析skiplist的统计性能。

在分析之前,我们还需要着重指出的是,执行插入操作时计算随机数的过程,是一个很关键的过程,它对skiplist的统计特性有着很重要的影响。这并不是一个普通的服从均匀分布的随机数,它的计算过程如下:

首先,每个节点肯定都有第1层指针(每个节点都在第1层链表里)。

如果一个节点有第i层(i=1)指针(即节点已经在第1层到第i层链表中),那么它有第(i+1)层指针的概率为p。

节点最大的层数不允许超过一个最大值,记为MaxLvl。

这个计算随机层数的代码如下:

/*Rturnsarandomlvlforthnwskiplistnodwargoingtocrat.

*Thrturnvaluofthisfunctionisbtwn1andZSKIPLIST_MAXLEVEL

*(bothinclusiv),withapowrlaw-alikdistributionwhrhighr

*lvlsarlssliklytobrturnd.*/

intzslRandomLvl(void){

intlvl=1;

whil((random()0xFFFF)(ZSKIPLIST_P*0xFFFF))

lvl+=1;

rturn(lvlZSKIPLIST_MAXLEVEL)?lvl:ZSKIPLIST_MAXLEVEL;

}

代码包含两个参数:一个是ZSKIPLIST_P,一个是ZSKIPLIST_MAXLEVEL。其定义在srvr.h文件中,取值如下:

#dfinZSKIPLIST_MAXLEVEL32/*Shouldbnoughfor2^32lmnts*/

#dfinZSKIPLIST_P0.25/*SkiplistP=1/4*/

一般查找问题的解法分为两个大类:一个是基于各种平衡树,一个是基于哈希表。但skiplist却比较特殊,它没法归属到这两大类里面。

二、Rdis中skiplist实现的特殊性

上文中,我们提到Rdis中sortdst的实现原理:

当数据较少时,sortdst是由一个ziplist来实现的。

当数据多的时候,sortdst是由一个dict+一个skiplist来实现的。简单来讲,dict用来查询数据到分数的对应关系,而skiplist用来根据分数查询数据(可能是范围查找)。

sortdst中的每个元素主要表现出3个属性:

数据本身。

每个数据对应一个分数(scor)。

根据分数大小和数据本身的字典排序,每个数据会产生一个排名(rank)。可以按正序或倒序。

现在我们来看一下sortdst与skiplist的关系:

zrvrank由数据查询它对应的排名,skiplist中并不支持。

zscor由数据查询它对应的分数,skiplist也不支持的。

zrvrang根据一个排名范围,查询排名在这个范围内的数据,skiplist也不支持。

zrvrangbyscor根据分数区间查询数据集合,是一个skiplist所支持的典型的范围查找(scor相当于ky)。

zscor的查询,不是由skiplist来提供的,而是由dict来提供的。为了支持排名(rank),Rdis里对skiplist做了扩展,使得根据排名能够快速查到数据,或者根据分数查到数据之后,也同时很容易获得排名。而且,根据排名的查找,时间复杂度也为O(logn)。

zrvrang的查询,是根据排名查数据,由扩展后的skiplist来提供。zrvrank是先在dict中由数据查到分数,再拿分数到skiplist中去查找,查到后也同时获得了排名。

各个操作的时间复杂度:

zscor只用查询一个dict,所以时间复杂度为O(1)

zrvrank,zrvrang,zrvrangbyscor由于要查询skiplist,所以zrvrank的时间复杂度为O(logn),而zrvrang,zrvrangbyscor的时间复杂度为O(log(n)+M),其中M是当前查询返回的元素个数。

总结起来,Rdis中的skiplist跟经典的skiplist相比,有如下不同:

分数(scor)允许重复,即skiplist的ky允许重复。这在经典skiplist中是不允许的。

在比较时,不仅比较分数(相当于skiplist的ky),还比较数据本身。在Rdis的skiplist实现中,数据本身的内容唯一标识这份数据,而不是由ky来唯一标识。另外,当多个元素分数相同的时候,还需要根据数据内容来进字典排序。

第1层链表不是一个单向链表,而是一个双向链表。这是为了方便以倒序方式获取一个范围内的元素。

在skiplist中可以很方便地计算出每个元素的排名(rank)。

三、skiplist与平衡树、哈希表的比较

skiplist和各种平衡树(如AVL、红黑树等)的元素是有序排列的,而哈希表不是有序的。因此,在哈希表上只能做单个ky的查找,不适宜做范围查找。

在做范围查找的时候,平衡树比skiplist操作要复杂。

所谓范围查找,指的是查找那些大小在指定的两个值之间的所有节点。

在平衡树上,我们找到指定范围的小值之后,还需要以中序遍历的顺序继续寻找其它不超过大值的节点。如果不对平衡树进行一定的改造,这里的中序遍历并不容易实现。

在skiplist上进行范围查找就非常简单,只需要在找到小值之后,对第1层链表进行若干步的遍历就可以实现。

平衡树的插入和删除操作可能引发子树的调整,逻辑复杂,而skiplist的插入和删除只需要修改相邻节点的指针,操作简单又快速。

从内存占用上来说,skiplist比平衡树更灵活一些。

一般来说,平衡树每个节点包含2个指针(分别指向左右子树),而skiplist每个节点包含的指针数目平均为1/(1-p),具体取决于参数p的大小。如果像Rdis里的实现一样,取p=1/4,那么平均每个节点包含1.33个指针,比平衡树更有优势。

当我们查找单个ky,skiplist和平衡树的时间复杂度都为O(logn),大体相当;而哈希表在保持较低的哈希值冲突概率的前提下,查找时间复杂度接近O(1),性能更高一些。所以我们平常使用的各种Map或dictionary结构,大都是基于哈希表实现的。

从算法实现难度上来比较,skiplist比平衡树要简单得多。

四、Rdis为什么用skiplist而不用平衡树

在前面我们对于skiplist和平衡树、哈希表的比较中,其实已经不难看出Rdis里使用skiplist而不用平衡树的原因了。

现在我们看看,对于这个问题,Rdis的作者

antirz是怎么说的:

原文







































北京看白癜风效果好专科
北京治疗白癜风医院哪个最好



转载请注明:http://www.92nongye.com/xxmb/204619521.html

  • 上一篇文章:
  •   
  • 下一篇文章: