更新时间:2024-11-26 GMT+08:00
配置Hive对接MemArtsCC
操作场景
本章节介绍在存算分离场景下如何配置Hive任务中集成MemArtsCC缓存,MemArtsCC会在将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Hive的数据读取效率。
修改Hive配置
- 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置 > Hive(服务) > OBS”。
- 在参数“fs.obs.readahead.policy”中配置参数值为“memArtsCC”。
- 单击“保存”,在弹窗页面中单击“确定”,保存配置。单击“概览”,选择“更多 > 滚动重启服务”,重启Hive服务。
验证配置结果
- 登录FusionInsight Manager,选择“集群 > 服务 > MemArtsCC > 图表 > 容量”。
- 查看图表“集群shard数量” 并记录shard数。
- 登录Hive客户端节点,使用beeline创建一个表并确认Location为OBS路径,具体请参考配置Hive通过Guardian访问OBS。
使用beeline执行Mapreduce任务:
select count(*) from tablename;
- 重新执行1~2,查看“集群shard数量”,shard数量较2上升,表示对接成功。
父主题: 使用MemArtsCC