更新时间:2024-11-29 GMT+08:00

MemArtsCC与其他组件关系

MemArtsCC与OBS的关系

OBS提供一种新的InputStream:OBSMemArtsCCInputStream,该InputStream从部署在计算侧上的MemArtsCC集群读取数据,从而减少OBS服务端压力,提升数据读取性能的目标。

MemArtsCC会将数据持久化存储到计算侧的存储中(SSD),OBS对接MemArtsCC有如下使用场景:

  1. 提升存算分离架构访问数据的性能

    利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升OBS上层应用数据读取效率。

  1. 减少OBS服务端压力

    MemArtsCC会将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用。

MemArtsCC与Spark的关系

Spark从OBS读取数据,OBS会从MemArtsCC读取数据,如果命中则读本地缓存,否则触发预取。

MemArtsCC与Hive的关系

Hive从OBS读取数据,OBS会从MemArtsCC读取数据,如果命中则读本地缓存,否则触发预取。

MemArtsCC与HetuEngine的关系

HetuEngine从OBS读取数据,OBS会从MemArtsCC读取数据,如果命中则读本地缓存,否则触发预取。