文档首页/ MapReduce服务 MRS/ 产品介绍/ 组件介绍/ MemArtsCC/ MemArtsCC与其他组件的关系
更新时间:2024-11-21 GMT+08:00
分享

MemArtsCC与其他组件的关系

MemArtsCC与OBS的关系

Hadoop-OBS提供一种新的InputStream:OBSMemArtsCCInputStream,该InputStream从部署在计算侧上的MemArts集群读取数据,从而减少OBS服务端压力,提升数据读取性能的目标。

MemArtsCC会将数据持久化存储到计算侧的存储中(SSD),Hadoop-OBS对接MemArtsCC有如下使用场景:

  1. 减少OBS服务端压力

    MemArtsCC会将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用。

  2. 提升存算分离架构访问数据的性能

    利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Hadoop-OBS上层应用数据读取效率。

MemArtsCC与Spark的关系

Spark从OBS读取数据,OBSA会从MemartsCC读取数据,如果命中则读本地缓存,否则触发预取。

相关文档