更新时间:2024-12-11 GMT+08:00

配置Hive对接MemArtsCC

操作场景

本章节介绍在存算分离场景下如何配置Hive任务中集成MemArtsCC缓存,MemArtsCC会在将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用,利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Hive的数据读取效率。

前提条件

修改Hive配置

  1. 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置 > 全部配置 > Hive(服务) > OBS”。
  2. 在参数“fs.obs.readahead.policy”中配置参数值为“memArtsCC”。
  3. 单击“保存”,在弹窗页面中单击“确定”,保存配置。单击“概览”,选择“更多 > 滚动重启服务”,重启Hive服务。

验证配置结果

  1. 登录FusionInsight Manager,选择“集群 > 服务 > MemArtsCC > 图表 > 容量”。
  2. 查看图表“集群shard数量” 并记录shard数。
  3. 登录Hive客户端节点,使用beeline创建一个表并确认Location为OBS路径,具体请参考配置Hive通过Guardian访问OBS

    使用beeline执行Mapreduce任务:

    select count(*) from tablename;

  4. 重新执行1~2,查看“集群shard数量”,shard数量较2上升,表示对接成功。