主頁 > 知識庫 > Redis都做了哪些加快速度的設計

Redis都做了哪些加快速度的設計

熱門標簽:山東外呼銷售系統招商 宿遷便宜外呼系統平臺 鄭州人工智能電銷機器人系統 超呼電話機器人 北京400電話辦理收費標準 日本中國地圖標注 魔獸2青云地圖標注 貴州電銷卡外呼系統 十堰營銷電銷機器人哪家便宜

列表對象是 Redis5 種基礎數據類型之一,在 Redis 3.2 版本之前,列表對象底層存儲結構有兩種:linkedlist(雙端列表)和 ziplist(壓縮列表),而在 Redis 3.2 版本之后,列表對象底層存儲結構只有一種:quicklist(快速列表),難道通過精心設計的 ziplist 最終被 Redis 拋棄了嗎?

列表對象

同字符串對象一樣,列表對象到底使用哪一種數據結構來進行存儲也是通過編碼來進行區(qū)分:

編碼屬性 描述 object encoding命令返回值
OBJ_ENCODING_LINKEDLIST 使用 linkedlist 實現列表對象 linkedlist
OBJ_ENCODING_ZIPLIST 使用 ziplist 實現列表對象 ziplist
OBJ_ENCODING_QUICKLIST 使用 quicklist 實現列表對象 quicklist

linkedlist

linkedlist 是一個雙向列表,每個節(jié)點都會存儲指向上一個節(jié)點和指向下一個節(jié)點的指針。linkedlist 因為每個節(jié)點之間的空間是不連續(xù)的,所以可能會造成過多的內存空間碎片。

linkedlist存儲結構

鏈表中每一個節(jié)點都是一個 listNode 對象(源碼 adlist.h 內),不過需要注意的是,列表中的 value 其實也是一個字符串對象,其他幾種數據類型其內部最終也是會嵌套字符串對象,字符串對象也是唯一一種會被其他對象引用的基本類型:

typedef struct listNode {
  struct listNode *prev;//前一個節(jié)點
  struct listNode *next;//后一個節(jié)點
  void *value;//值(字符串對象)
} listNode;

然后會將其再進行封裝成為一個 list 對象(源碼 adlist.h 內):

typedef struct list {
  listNode *head;//頭節(jié)點
  listNode *tail;//尾節(jié)點
  void *(*dup)(void *ptr);//節(jié)點值復制函數
  void (*free)(void *ptr);//節(jié)點值釋放函數
  int (*match)(void *ptr, void *key);//節(jié)點值對比函數
  unsigned long len;//節(jié)點數量
} list;

Redis 中對 linkedlist 的訪問是以 NULL 值為終點的,因為 head 節(jié)點的 prev 節(jié)點為 NULL,tail 節(jié)點的 next 節(jié)點也為 NULL,所以從頭節(jié)點開始遍歷,當發(fā)現 tailNULL 時,則可以認為已經到了列表末尾。

當我們設置一個列表對象時,在 Redis 3.2 版本之前我們可以得到如下存儲示意圖:

ziplist

壓縮列表在前面已經介紹過,想要詳細了解的可以點擊這里。

linkedlist 和 ziplist 的選擇

Redis3.2 之前,linkedlistziplist 兩種編碼可以進選擇切換,如果需要列表使用 ziplist 編碼進行存儲,則必須滿足以下兩個條件:

列表對象保存的所有字符串元素的長度都小于 64 字節(jié)。列表對象保存的元素數量小于 512 個。

一旦不滿足這兩個條件的任意一個,則會使用 linkedlist 編碼進行存儲。

PS:這兩個條件可以通過參數 list-max-ziplist-valuelist-max-ziplist-entries 進行修改。

這兩種列表能在特定的場景下發(fā)揮各自的作用,應該來說已經能滿足大部分需求了,然后 Redis 并不滿足于此,于是一場改革引發(fā)了,quicklist 橫空出世。

quicklist

Redis 3.2 版本之后,為了進一步提升 Redis 的性能,列表對象統一采用 quicklist 來存儲列表對象。quicklist存儲了一個雙向列表,每個列表的節(jié)點是一個 ziplist,所以實際上 quicklist 并不是一個新的數據結構,它就是linkedlistziplist 的結合,然后被命名為快速列表。

quicklist 內部存儲結構

quicklist 中每一個節(jié)點都是一個 quicklistNode 對象,其數據結構定義如下:

typedef struct quicklistNode {
  struct quicklistNode *prev;//前一個節(jié)點
  struct quicklistNode *next;//后一個節(jié)點
  unsigned char *zl;//當前指向的ziplist或者quicklistLZF
  unsigned int sz;//當前ziplist占用字節(jié)
  unsigned int count : 16;//ziplist中存儲的元素個數,16字節(jié)(最大65535個)
  unsigned int encoding : 2; //是否采用了LZF壓縮算法壓縮節(jié)點 1:RAW 2:LZF
  unsigned int container : 2; //存儲結構,NONE=1, ZIPLIST=2
  unsigned int recompress : 1; //當前ziplist是否需要再次壓縮(如果前面被解壓過則為true,表示需要再次被壓縮)
  unsigned int attempted_compress : 1;//測試用 
  unsigned int extra : 10; //后期留用
} quicklistNode;

然后各個 quicklistNode 就構成了一個快速列表 quicklist

typedef struct quicklist {
  quicklistNode *head;//列表頭節(jié)點
  quicklistNode *tail;//列表尾節(jié)點
  unsigned long count;//ziplist中一共存儲了多少元素,即:每一個quicklistNode內的count相加
  unsigned long len; //雙向鏈表的長度,即quicklistNode的數量
  int fill : 16;//填充因子
  unsigned int compress : 16;//壓縮深度 0-不壓縮
} quicklist;

根據這兩個結構,我們可以得到 Redis 3.2 版本之后的列表對象的一個存儲結構示意圖:

quicklist 的 compress 屬性

compress 是用來表示壓縮深度,ziplist 除了內存空間是連續(xù)之外,還可以采用特定的 LZF 壓縮算法來將節(jié)點進行壓縮存儲,從而更進一步的節(jié)省空間,壓縮深度可以通過參數 list-compress-depth 控制:

0:不壓縮(默認值)
1:首尾第1個元素不壓縮
2:首位前2個元素不壓縮
3:首尾前3個元素不壓縮以此類推

注意:之所以采取這種壓縮兩端節(jié)點的方式是因為很多場景都是兩端的元素訪問率最高的,而中間元素訪問率相對較低,所以在實際使用時,我們可以根據自己的實際情況選擇是否進行壓縮,以及具體的壓縮深度。

quicklistNode 的 zl 指針

zl 指針默認指向了 ziplist,上面提到 quicklistNode 中有一個 sz 屬性記錄了當前 ziplist 占用的字節(jié),不過這僅僅限于當前節(jié)點沒有被壓縮(通過LZF 壓縮算法)的情況,如果當前節(jié)點被壓縮了,那么被壓縮節(jié)點的 zl 指針會指向另一個對象 quicklistLZF,而不會直接指向 ziplist。quicklistLZF 是一個 4+N 字節(jié)的結構:

typedef struct quicklistLZF {
  unsigned int sz;// LZF大小,占用4字節(jié)
  char compressed[];//被壓縮的內容,占用N字節(jié)
} quicklistLZF;

quicklist 對比原始兩種編碼的改進

quicklist 同樣采用了 linkedlist 的雙端列表特性,然后 quicklist 中的每個節(jié)點又是一個 ziplist,所以quicklist 就是綜合平衡考慮了 linkedlist 容易產生空間碎片的問題和 ziplist 的讀寫性能兩個維度而設計出來的一種數據結構。使用 quicklist 需要注意以下 2 點:

如果 ziplist 中的 entry 個數過少,最極端情況就是只有 1entry 的壓縮列表,那么此時 quicklist 就相當于退化成了一個普通的 linkedlist。如果 ziplist 中的 entry 過多,那么也會導致一次性需要申請的內存空間過大(ziplist 空間是連續(xù)的),而且因為 ziplist 本身的就是以時間換空間,所以會過多 entry 也會影響到列表對象的讀寫性能。

ziplist 中的 entry 個數可以通過參數 list-max-ziplist-size 來控制:

list-max-ziplist-size 1

注意:這個參數可以配置正數也可以配置負數。正數表示限制每個節(jié)點中的 entry 數量,如果是負數則只能為 -1~-5,其代表的含義如下:

-1:每個 ziplist 最多只能為 4KB

-2:每個 ziplist 最多只能為 8KB

-3:每個 ziplist 最多只能為 16KB

-4:每個 ziplist 最多只能為 32KB

-5:每個 ziplist 最多只能為 64KB

列表對象常用操作命令

lpush key value1 value2:將一個或者多個 value 插入到列表 key 的頭部,key 不存在則創(chuàng)建 keyvalue2value1 之后)。

  • lpushx key value1 value2:將一個或者多個 value 插入到列表 key 的頭部,key 不存在則不做任何處理(value2value1 之后)。
  • lpop key:移除并返回 key 值的列表頭元素。
  • rpush key value1 value2:將一個或者多個 value 插入到列表 key 的尾部,key 不存在則創(chuàng)建 keyvalue2value1 之后)。
  • rpushx key value1 vaue2:將一個或者多個 value 插入到列表 key 的尾部,key 不存在則不做任何處理(value2value1 之后)。
  • rpop key:移除并返回列表 key 的尾元素。
  • llen key:返回列表 key 的長度。
  • lindex key index:返回列表 key 中下標為 index 的元素。index 為正數(從 0 開始)表示從隊頭開始算,index 為負數(從-1開始)則表示從隊尾開始算。
  • lrange key start stop:返回列表 key 中下標 [start,end] 之間的元素。
  • lset key index value:將 value 設置到列表 key 中指定 index 位置,key 不存在或者 index 超出范圍則會報錯。 ltrim key start end:截取列表中 [start,end] 之間的元素,并替換原列表保存。

了解了操作列表對象的常用命令,我們就可以來驗證下前面提到的列表對象的類型和編碼了,在測試之前為了防止其他 key 值的干擾,我們先執(zhí)行 flushall 命令清空 Redis 數據庫。

接下來依次輸入命令:

lpush name zhangsan type name object encoding name

可以看到,通過 type 命令輸出的是 list,說明當前 name 存的是一個列表對象,并且編碼是 quicklist(示例中用的是 5.0.5 版本)。

總結

本文主要介紹了 Redis5 種常用數據類型中的 列表對象,并介紹了底層的存儲結構 quicklist,并分別對舊版本的兩種底層數據 linkedlistziplist 進行了分析對比得出了為什么 Redis 最終要采用 quicklist 來存儲列表對象。

到此這篇關于Redis都做了哪些加快速度的設計的文章就介紹到這了,更多相關Redis 加快速度的設計內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • redis單線程快的原因和原理
  • 硬核!15張圖解Redis為什么這么快(推薦)
  • Redis為什么快如何實現高可用及持久化
  • 為啥Redis使用pipelining會更快
  • Redis憑啥可以這么快

標簽:吉安 果洛 朝陽 楊凌 北京 臺州 大慶 江蘇

巨人網絡通訊聲明:本文標題《Redis都做了哪些加快速度的設計》,本文關鍵詞  Redis,都,做了,哪些,加快,;如發(fā)現本文內容存在版權問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Redis都做了哪些加快速度的設計》相關的同類信息!
  • 本頁收集關于Redis都做了哪些加快速度的設計的相關信息資訊供網民參考!
  • 企业400电话

    智能AI客服机器人
    15000

    在线订购

    合计11份范本:公司章程+合伙协议+出资协议+合作协议+股权转让协议+增资扩股协议+股权激励+股东会决议+董事会决议

    推薦文章