更新时间:2022-05-25 GMT+08:00
分享

配置表

Flink开源特性增强:配置表

在某些场景下,用户存在固定的配置表,存储了基础信息;当平台接收流数据并处理时,需要与配置表进行匹配操作。由于配置表可能较大,考虑使用Redis存储,Redis是一个高性能的key-value数据库,流数据查询时延较低。

具体流程如下:

图1 流程图

Redis存储数据

Redis并不是简单的key-value存储,实际上它是一个数据结构服务器,支持不同类型的值。支持数据类型存储如下:

  • 二进制安全的字符串。
  • Lists: 按插入顺序排序的字符串元素的集合。基本上就是链表(linked lists)
  • Sets: 不重复且无序的字符串元素的集合。
  • Sorted sets:每个字符串元素都关联到一个叫score浮动数值(floating number value)。里面的元素是通过score进行排序,它是可以检索的一系列元素。
  • Hashes:由field和关联的value组成的map,field和value都是字符串。
  • Bit arrays: 通过特殊的命令,用户可以将String值当作一系列bits处理。例如用户可以设置和清除单独的bits,统计出所有设为1的bits的数量,或找到第一个被设为1或0的bit等等。
  • HyperLogLogs: 这是被用于估计一个set中元素数量的概率性的数据结构。

为满足最大5亿条数据配置表的存储并及时响应查询,使用Redis集群存储配置表,并使用流的异步IO作消息查询,提高数据处理的吞吐量。

  • Redis集群:在集群环境上的各个节点上部署Redis,并将数据分散存储在各个节点上,提升了存储容量,目前MRS中已有Redis组件。
  • 异步IO:处理流数据,最大化数据处理的吞吐量,提高处理效率。

涉及Redis主要有两部分,Redis安装部署以及配置表数据导入:

  1. Redis安装。

    MRS已经有Redis组件,在集群安装时可以勾选安装。

  2. 配置表导入Redis。

    用户可以按照配置表的特征选取主键或者关键某几列作为key值,当需要存储的配置表的属性较多时,建议以Hashes的数据形式存储。

    MRS的Redis组件提供了Redis客户端对数据进行插入查询,可以参考Redis组件样例代码。

Redis数据类型详细信息请参见官网:https://redis.io/topics/data-types-intro

Flink异步IO

当与外部系统进行交互时,如外部的数据库,访问等待时间过长导致数据处理效率低。异步IO实现了不需要等待请求返回就可以同时发送其他请求,以此提高数据吞吐量。

异步IO的API实现需要注意三点:

  • AsyncFunction函数实现了数据处理的异步处理,需要重写asyncInvoke方法。
  • 回调函数获取算子的结果,并且通过AsyncCollector收集起来。
    图2 Async.I/O的比较
  • 超时时间和最大容量设置。

    超时时间定义了一个异步请求失败的最大时间。最大容量设置是指同时可以存在多少个异步请求,过多导致资源消耗加大;过小导致并行数小,吞吐量不能提高;建议针对数据源特点进行合理适配。

分享:

    相关文档

    相关产品

close