存算分离简介

MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。

大数据存算分离场景，请务必使用OBS并行文件系统，使用普通对象桶会对集群性能产生较大影响。

存算分离功能使用流程：

1. 配置存算分离集群。
   请选择如下其中一种配置即可（推荐使用委托方式）。

   • 通过为MRS集群绑定ECS委托方式访问OBS，避免了AK/SK直接暴露在配置文件中的风险，具体请参考配置存算分离集群（委托方式）。
   • 在MRS集群中配置AK/SK，AK/SK会明文暴露在配置文件中，请谨慎使用，具体请参考配置存算分离集群（AKSK方式）。
2. 使用存算分离集群。
   各个组件使用存算分离的具体操作请参考如下内容。

   • Flink对接OBS文件系统
   • Flume对接OBS文件系统
   • HDFS客户端对接OBS文件系统
   • Hive对接OBS文件系统
   • MapReduce对接OBS文件系统
   • Spark2x对接OBS文件系统
   • Sqoop对接外部存储系统