更新时间:2025-08-09 GMT+08:00

修改MRS集群组件配置参数

在大数据集群中,服务端参数的调整是优化集群性能、稳定性和资源利用率的关键手段,当集群出现资源分配不合理、任务并行度不足等问题时,需及时调整相关组件参数。

为了满足实际业务的需求,MRS控制台提供了在线查看及修改组件配置参数功能,用户可以方便快速地完成组件侧相关配置的修改。

前提条件

  • 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)
  • 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager

修对系统的影响

  • 配置HBase、HDFS、Hive、Spark、Yarn、MapReduce服务属性后,需要重新下载安装或更新客户端配置文件。
  • 配置服务属性后,如果服务状态为“配置过期”,则需要重启此服务以使配置生效,重启期间该服务不可用。

    修改服务配置参数并重启生效后,需要重新下载并安装客户端,或者下载配置文件刷新客户端。

约束与限制

集群中只剩一个DBService角色实例时,不支持修改DBService服务的参数。

操作视频

本视频分别介绍了通过MRS管理控制台或Manager界面修改服务参数的操作过程。

因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。

  1. 登录MRS管理控制台
  2. 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群概览信息页面。
  3. 在集群详情页,单击“组件管理”。

    图1 组件管理

  4. 单击服务列表中指定的服务名称。
  5. 单击“服务配置”。将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。

    在服务节点下的参数属于服务级别的配置参数,在角色节点下的参数是角色级别的配置参数,可参考修改MRS角色实例参数

  6. 在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。

    图2 修改组件配置参数
    • 不确定参数的具体位置时,支持在右上角输入参数名,系统将实时进行搜索并显示结果。
    • 修改某个参数的值后如果需要取消修改,可以单击恢复。
    • 请务必参照参数配置描述中的建议进行参数值调整,避免影响集群稳定运行。
    • 对于端口类参数值请从参数描述中的取值范围选取,请确保同一个服务中所有端口参数项配置的值均在取值范围内且唯一,否则会导致服务启动失败。

  7. 单击“保存配置”,根据界面提示保存参数并重启服务。

    组件配置参数保存成功后,部分配置并不会即时生效,此时组件对应实例的配置状态会变为“配置超期”,用户可以等待业务空闲期或者其他组件相关配置全部修改后,统一重启组件以使配置生效。

    图3 组件配置超期

    在组件列表中,单击待重启组件所在行操作列的“重启”,按照界面提示成功重启组件后,对应组件的“配置状态”变为“已同步”。

    MRS 3.x之前的版本更新YARN服务队列的配置且不重启服务时,可在服务状态页签选择“更多 > 刷新队列”更新队列使配置生效。

  1. 登录Manager界面,选择“集群 > 服务”。

    登录集群Manager界面请参考访问MRS集群Manager

  2. 单击待操作的服务名称,单击“配置”。

    对于MRS 2.x及之前版本集群,登录Manager后,单击“服务管理”。

    默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的一级节点分别为服务名称和角色名称。展开一级节点后显示参数分类。

    例如下图所示,第一个“LdapServer”表示服务名称,配置项针对整个服务;第二个“SlapdServer”表示角色名称,配置项针对角色的全部实例。

    图4 配置参数导航树

    在服务节点下的参数属于服务级别的配置参数,在角色节点下的参数是角色级别的配置参数,可参考修改MRS角色实例参数

  3. 在导航树选择指定的参数分类,并在右侧修改参数值。

    • 不确定参数的具体位置时,支持在右上角输入参数名,系统将实时进行搜索并显示结果。
    • 修改某个参数的值后如果需要取消修改,可以单击恢复。
    • 请务必参照参数配置描述中的建议进行参数值调整,避免影响集群稳定运行。
    • 对于端口类参数值请从参数描述中的取值范围选取,请确保同一个服务中所有端口参数项配置的值均在取值范围内且唯一,否则会导致服务启动失败。

  4. 单击“保存”,并在确认对话框中单击“确定”。

    等待界面提示“操作成功”,单击“完成”,配置已修改。

    组件配置参数保存成功后,部分配置并不会即时生效,此时组件对应实例的配置状态会变为“配置过期”,用户可以等待业务空闲期或者其他组件相关配置全部修改后,统一重启组件以使配置生效。

    图5 组件配置过期

    在组件列表中,单击配置过期服务所在行操作列的“更多 > 重启服务”,根据界面提示重启,重启完成后,组件配置状态会变为“已同步”。

    • 更新Yarn服务队列的配置且不重启服务时,选择“更多 > 刷新队列”更新队列使配置生效。
    • 配置Flume参数“flume.config.file”时,支持“上传文件”和“下载文件”功能。上传配置文件后旧文件将被覆盖,再下载文件只能获取新文件。如果未保存配置并重启服务,那么新文件设置未生效,请及时保存配置。
    • 修改服务配置参数后如需重启服务使配置生效,可在服务页面单击右上角“更多 > 重启服务”。
    • 配置参数前包含图标时,表示该参数为动态生效,保存配置后参数值会自动刷新到配置文件中(该功能仅MRS 3.2.0及之后版本支持)。