DCS Redis 5.0支持的新特性说明

Stream数据结构

Stream是Redis 5.0引入的一种新数据类型，它是一个全新的支持多播的可持久化消息队列。

Redis Stream的结构示意图如图1所示，它是一个可持久化的数据结构，用一个消息链表，将所有加入进来的消息都串起来。

图1 Stream数据结构示意图

Stream相关命令介绍

图2 Stream相关命令介绍

消息（流元素）消费确认

Stream与相比Pub/Sub，不仅增加消费分组模式，还支持消息消费确认。

当一条消息被某个消费者调用XREADGROUP命令读取或调用XCLAIM命令接管的时候， 服务器尚不确定它是否至少被处理了一次。 因此，一旦消费者成功处理完一条消息，它应该调用XACK知会Stream，这样这个消息就不会被再次处理， 同时关于此消息的PEL（pending_ids）条目也会被清除，从Redis服务器释放内存。

某些情况下，因为网络问题等，客户端消费完毕后没有调用XACK，这时候PEL内会保留对应的元素ID。待客户端重新连上后，XREADGROUP的起始消息ID建议设置为0-0，表示读取所有的PEL消息及自last_id之后的消息。同时，消费者消费消息时需要能够支持消息重复传递。

图3 ACK机制解读

内存使用优化

Redis 5.0在上一版本基础上，在内存使用上做了进一步优化。

• 主动碎片整理

  当key被频繁修改，value长度不断变化时，Redis会为key分配新的内存空间。由于Redis追求高性能，实现了自己的内存分配器来管理内存，因此并不会将原有内存释放给OS，从而导致出现内存碎片。当used_memory_rss/used_memory高于1.5，一般认为内存碎片占比过高，内存利用率低。

  因此，合理规划和使用缓存数据，规范数据写入，有助于减少内存碎片的产生。

  Redis 3.0及以下：可以通过定期重启服务解决内存碎片问题。建议实际缓存数据不超过配置可用内存的50%。

  Redis 4.0：支持主动整理内存碎片，服务在运行期间进行自动内存碎片清理。同时Redis 4.0支持通过memory purge命令手动清理内存碎片。

  Redis 5.0：增强版主动碎片整理，配合Jemalloc版本更新，更快更智能，延时更低。

• HyperLogLog算法优化

  HyperLogLog是一种基数计数方法，使用少量的内存空间完成海量数据的计数统计，在Redis 5.0中，HyperLogLog算法得到改进，优化了计数统计时的内存使用效率。

  举个例子：B树计数效率非常高，但是内存消耗也比较多。而HyperLogLog可节省大量存储空间。当B树需要1M内存统计，HyperLogLog只需要1kb。

• 内存信息统计报告能力增强

  INFO命令返回信息更加详实。

命令新增和优化

1. 客户端管理增强
   • Redis-cli支持集群管理

     在Redis 4.0以及之前版本，需要安装redis-trib模块，管理集群。

     Redis 5.0对Redis-cli做了优化，集成了集群的所有管理功能。具体使用可以通过命令redis-cli --cluster help查看帮助信息。

   • 优化客户端在频繁连接与中断场景下的性能

     当您的应用需要使用短连接时，这个优化价值凸显。

2. 有序集合使用更简单

   有序集合新增两个命令：ZPOPMIN和ZPOPMAX。

   • ZPOPMIN key [count]

     删除并返回有序集合key中的最多count个具有最低得分的成员。如果返回多个成员，也会按照得分高低（value值比较），从低到高排列。

   • ZPOPMAX key [count]

     删除并返回有序集合key中的最多count个具有最高得分的成员。如果返回多个成员，也会按照得分高低（value值比较），从高到低排列。

3. help增加更多子命令说明

   支持help直接查看快速使用攻略，你不再需要每次登录redis.io去查找。例如，命令行输入stream使用攻略：xinfo help

   127.0.0.1:6379> xinfo help
   1) XINFO <subcommand> arg arg ... arg. Subcommands are:
   2) CONSUMERS <key> <groupname>  -- Show consumer groups of group <groupname>.
   3) GROUPS <key>                 -- Show the stream consumer groups.
   4) STREAM <key>                 -- Show information about the stream.
   5) HELP                         -- Print this help.
   127.0.0.1:6379> 

4. Redis-cli命令输入提示

   Redis-cli在输入完整的命令后，会展示参数提醒，帮助用户记忆命令语法格式。

   如下图所示，输入zadd命令，Redis-cli使用浅颜色字体显示zadd的语法。

   

RDB支持存储LFU、LRU

Redis 5.0开始，RDB快照文件中增加存储key逐出策略LRU和LFU：

• FIFO：先进先出。最早存储的数据，优先被淘汰。
• LRU：最近最少使用。长期未使用的数据，优先被淘汰。
• LFU：最不经常使用。在一段时间内，使用次数最少的数据，优先被淘汰。

Redis 5.0的RDB文件格式有变化，向下兼容。因此如果使用快照的方式迁移，可以从Redis低版本迁移到Redis 5.0，但不能从Redis 5.0迁移到低版本。