redis大key问题
- 为啥不能有大key;
- 有一些方法，避免大key;
- 有大key，安全删除大key;
what： 什么是大key问题
就是一个key的value特别大，比如一个hashmap中存了超多k,v;
或者一个列表key中存了超长列表，等等；
多大算大： hashmap中有100w的k,v => 1s延迟；
删除大Key的时间复杂度: O(N), N代表大key里的值数量，因为redis是单线程一个个删。
所以删大key也会卡qps。
开发规范
单key大小
Redis限制每个String类型value大小不超过512MB， 实际开发中，不要超过10KB，否则会对CPU和网卡造成极大负载。 hash、list、set、zset元素个数不要超过5000。
理论上限: 每个hashset里头元素数量< 2^32.
key的数量
官方评测： 单实例2.5亿
理论上限: 32位，2^32。约40亿
测试删除大key
可以用slowlog命令来查看删除耗时:
| 1 2 | DEL big_key1 SLOWLOG GET 2 |
why: 为啥不能有大key
redis的基础假设是每个操作都很快，所以设计成单线程处理；
所以如果有大key，基础设计就不成立了，会阻塞；
问题：
- 数据倾斜，部分redis分片节点存储占用很高；
- 查询突然很慢，qps降低；
How: 如何避免大key
分治法，加一些key前缀\后置分解（如时间、哈希前缀、用户id后缀）;
安全删除大key
- 首先要找到大key才能删除;
- 如何删除；
找到大key、删除大Key
当版本<4.0
1、导出rdb文件分析: bgsave, redis-rdb-tool;
2、命令: redis-cli --bigkeys,找出最大的key；
3、自己写脚本扫描;
4、单个key查看: debug object key： 查看某个key序列化后的长度，每次看1个key的信息,比较没效率。
删除大Key:
分解删除操作：
list: 逐步ltrim;
zset: 逐步zremrangebyscore;
hset: hscan出500个，然后hdel删除；
set: sscan扫描出500个，然后srem删除；
依次类推；
当版本>=4.0
寻找大key
命令: memory usage
删除大key： lazyfree机制
unlink命令：代替DEL命令；
会把对应的大key放到BIO_LAZY_FREE后台线程任务队列，然后在后台异步删除；
类似的异步删除命令:
| 1 2 | flushdb async: 异步清空数据库 flushall async: 异步清空所有数据库 |
异步删除配置:
| 1 2 3 4 5 6 | slave-lazy-flush: slave接受完rdb文件后，异步清空数据库； lazyfree-lazy-eviction: 异步淘汰key; lazyfree-lazy-expire: 异步key过期; lazyfree-lazy-server-del: 异步内部删除key；生效于rename命令 ## rename命令: RENAME mykey new_name ## 如果new_name已经存在，会先删除new_name，此时触发上述lazy机制 |
转载请注明：学时网 » redis大key问题
