大家好，我是小林。

今天來(lái)聊聊，關(guān)于 Redis 大 key 的四個(gè)問(wèn)題。

• 什么是 Redis 大 key？
• 大 key 會(huì)造成什么問(wèn)題？
• 如何找到大 key ？
• 如何刪除大 key？

什么是 Redis 大 key？

大 key 并不是指 key 的值很大，而是 key 對(duì)應(yīng)的 value 很大。

一般而言，下面這兩種情況被稱(chēng)為大 key：

• String 類(lèi)型的值大于 10 KB；
• Hash、List、Set、ZSet 類(lèi)型的元素的個(gè)數(shù)超過(guò) 5000個(gè)；

大 key 會(huì)造成什么問(wèn)題？

大 key 會(huì)帶來(lái)以下四種影響：

• 客戶端超時(shí)阻塞。由于 Redis 執(zhí)行命令是單線程處理，然后在操作大 key 時(shí)會(huì)比較耗時(shí)，那么就會(huì)阻塞 Redis，從客戶端這一視角看，就是很久很久都沒(méi)有響應(yīng)。
• 引發(fā)網(wǎng)絡(luò)阻塞。每次獲取大 key 產(chǎn)生的網(wǎng)絡(luò)流量較大，如果一個(gè) key 的大小是 1 MB，每秒訪問(wèn)量為 1000，那么每秒會(huì)產(chǎn)生 1000MB 的流量，這對(duì)于普通千兆網(wǎng)卡的服務(wù)器來(lái)說(shuō)是災(zāi)難性的。
• 阻塞工作線程。如果使用 del 刪除大 key 時(shí)，會(huì)阻塞工作線程，這樣就沒(méi)辦法處理后續(xù)的命令。
• 內(nèi)存分布不均。集群模型在 slot 分片均勻情況下，會(huì)出現(xiàn)數(shù)據(jù)和查詢傾斜情況，部分有大 key 的 Redis 節(jié)點(diǎn)占用內(nèi)存多，QPS 也會(huì)比較大。

如何找到大 key ？

1、redis-cli --bigkeys 查找大key

可以通過(guò) redis-cli --bigkeys 命令查找大 key：

redis-cli -h 127.0.0.1 -p6379 -a "password" -- bigkeys

使用的時(shí)候注意事項(xiàng)：

• 最好選擇在從節(jié)點(diǎn)上執(zhí)行該命令。因?yàn)橹鞴?jié)點(diǎn)上執(zhí)行時(shí)，會(huì)阻塞主節(jié)點(diǎn)；
• 如果沒(méi)有從節(jié)點(diǎn)，那么可以選擇在 Redis 實(shí)例業(yè)務(wù)壓力的低峰階段進(jìn)行掃描查詢，以免影響到實(shí)例的正常運(yùn)行；或者可以使用 -i 參數(shù)控制掃描間隔，避免長(zhǎng)時(shí)間掃描降低 Redis 實(shí)例的性能。

該方式的不足之處：

• 這個(gè)方法只能返回每種類(lèi)型中最大的那個(gè) bigkey，無(wú)法得到大小排在前 N 位的 bigkey；
• 對(duì)于集合類(lèi)型來(lái)說(shuō)，這個(gè)方法只統(tǒng)計(jì)集合元素個(gè)數(shù)的多少，而不是實(shí)際占用的內(nèi)存量。但是，一個(gè)集合中的元素個(gè)數(shù)多，并不一定占用的內(nèi)存就多。因?yàn)椋锌赡苊總€(gè)元素占用的內(nèi)存很小，這樣的話，即使元素個(gè)數(shù)有很多，總內(nèi)存開(kāi)銷(xiāo)也不大；

2、使用 SCAN 命令查找大 key

使用 SCAN 命令對(duì)數(shù)據(jù)庫(kù)掃描，然后用 TYPE 命令獲取返回的每一個(gè) key 的類(lèi)型。

對(duì)于 String 類(lèi)型，可以直接使用 STRLEN 命令獲取字符串的長(zhǎng)度，也就是占用的內(nèi)存空間字節(jié)數(shù)。

對(duì)于集合類(lèi)型來(lái)說(shuō)，有兩種方法可以獲得它占用的內(nèi)存大小：

• 如果能夠預(yù)先從業(yè)務(wù)層知道集合元素的平均大小，那么，可以使用下面的命令獲取集合元素的個(gè)數(shù)，然后乘以集合元素的平均大小，這樣就能獲得集合占用的內(nèi)存大小了。List 類(lèi)型：LLEN命令；Hash 類(lèi)型：HLEN命令；Set 類(lèi)型：SCARD命令；Sorted Set 類(lèi)型：ZCARD命令；
• 如果不能提前知道寫(xiě)入集合的元素大小，可以使用MEMORY USAGE命令（需要 Redis 4.0 及以上版本），查詢一個(gè)鍵值對(duì)占用的內(nèi)存空間。

3、使用 RdbTools 工具查找大 key

使用 RdbTools 第三方開(kāi)源工具，可以用來(lái)解析 Redis 快照（RDB）文件，找到其中的大 key。

比如，下面這條命令，將大于 10 kb 的  key  輸出到一個(gè)表格文件。

rdb dump.rdb -c memory --bytes 10240 -f redis.csv

如何刪除大 key？

刪除操作的本質(zhì)是要釋放鍵值對(duì)占用的內(nèi)存空間，不要小瞧內(nèi)存的釋放過(guò)程。

釋放內(nèi)存只是第一步，為了更加高效地管理內(nèi)存空間，在應(yīng)用程序釋放內(nèi)存時(shí)，操作系統(tǒng)需要把釋放掉的內(nèi)存塊插入一個(gè)空閑內(nèi)存塊的鏈表，以便后續(xù)進(jìn)行管理和再分配。這個(gè)過(guò)程本身需要一定時(shí)間，而且會(huì)阻塞當(dāng)前釋放內(nèi)存的應(yīng)用程序。

所以，如果一下子釋放了大量?jī)?nèi)存，空閑內(nèi)存塊鏈表操作時(shí)間就會(huì)增加，相應(yīng)地就會(huì)造成 Redis 主線程的阻塞，如果主線程發(fā)生了阻塞，其他所有請(qǐng)求可能都會(huì)超時(shí)，超時(shí)越來(lái)越多，會(huì)造成 Redis 連接耗盡，產(chǎn)生各種異常。

因此，刪除大 key 這一個(gè)動(dòng)作，我們要小心。具體要怎么做呢？這里給出兩種方法：

• 分批次刪除
• 異步刪除（Redis 4.0版本以上）

1、分批次刪除

對(duì)于刪除大 Hash，使用hscan命令，每次獲取 100 個(gè)字段，再用hdel命令，每次刪除 1 個(gè)字段。

Python代碼：

def del_large_hash(): r = redis.StrictRedis(host='redis-host1', port=6379)
    large_hash_key ="xxx" #要?jiǎng)h除的大hash鍵名 cursor = '0' while cursor != 0: # 使用 hscan 命令，每次獲取 100 個(gè)字段 cursor, data = r.hscan(large_hash_key, cursor=cursor, count=100) for item in data.items(): # 再用 hdel 命令，每次刪除1個(gè)字段 r.hdel(large_hash_key, item[0])

對(duì)于刪除大 List，通過(guò)ltrim命令，每次刪除少量元素。

Python代碼：

def del_large_list(): r = redis.StrictRedis(host='redis-host1', port=6379)
  large_list_key = 'xxx' #要?jiǎng)h除的大list的鍵名 while r.llen(large_list_key)>0: #每次只刪除最右100個(gè)元素 r.ltrim(large_list_key, 0, -101)

對(duì)于刪除大 Set，使用sscan命令，每次掃描集合中 100 個(gè)元素，再用srem命令每次刪除一個(gè)鍵。

Python代碼：

def del_large_set(): r = redis.StrictRedis(host='redis-host1', port=6379)
  large_set_key = 'xxx' # 要?jiǎng)h除的大set的鍵名 cursor = '0' while cursor != 0: # 使用 sscan 命令，每次掃描集合中 100 個(gè)元素 cursor, data = r.sscan(large_set_key, cursor=cursor, count=100) for item in data: # 再用 srem 命令每次刪除一個(gè)鍵 r.srem(large_size_key, item)

對(duì)于刪除大 ZSet，使用zremrangebyrank命令，每次刪除 top 100個(gè)元素。

Python代碼：

def del_large_sortedset(): r = redis.StrictRedis(host='large_sortedset_key', port=6379)
  large_sortedset_key='xxx' while r.zcard(large_sortedset_key)>0: # 使用 zremrangebyrank 命令，每次刪除 top 100個(gè)元素 r.zremrangebyrank(large_sortedset_key,0,99)

2、異步刪除

從 Redis 4.0 版本開(kāi)始，可以采用異步刪除法，用 unlink 命令代替 del 來(lái)刪除。

這樣 Redis 會(huì)將這個(gè) key 放入到一個(gè)異步線程中進(jìn)行刪除，這樣不會(huì)阻塞主線程。

推薦閱讀：

字節(jié)二面，差點(diǎn)沒(méi)答好

面試官：如何用 Redis 實(shí)現(xiàn)分布式鎖？

面試官：你確定 Redis 是單線程的進(jìn)程嗎？