更新时间:2022-12-14 GMT+08:00
Hive任务支持限定最大map数
操作场景
- 此功能适用于Hive。
- 此功能用于从服务端限定Hive任务的最大map数,避免HiveSever服务过载而引发的性能问题。
操作步骤
- 进入Hive服务配置页面:
- MRS 2.0.1之前版本,登录MRS Manager,选择“服务管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。
- MRS 2.0.1及之后版本,在MRS控制台单击集群名称,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。
若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
- MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置 > 全部配置”。
- 选择“MetaStore(角色) > 自定义”,对参数文件“hivemetastore-site.xml”添加自定义参数,设置“名称”为“hive.mapreduce.per.task.max.splits”,“值”为具体设定值,一般尽量设置大,修改后重启所有Hive实例。
父主题: 使用Hive