更新时间:2023-12-29 GMT+08:00

配置服务自定义参数

MRS各个组件支持开源的所有参数,在MRS支持修改部分关键使用场景的参数,且部分组件的客户端可能不包含开源特性的所有参数。如果需要修改其他MRS未直接支持的组件参数,用户可以在MRS通过自定义配置项功能为组件添加新参数。添加的新参数最终将保存在组件的配置文件中并在重启后生效。

对系统的影响

  • 配置服务属性后,需要重启此服务,重启期间无法访问服务。
  • 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并更新客户端配置文件。

前提条件

  • 用户已充分了解需要新添加的参数意义、生效的配置文件以及对组件的影响。
  • 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
    图1 IAM用户同步

操作步骤

  1. 在集群详情页,单击“组件管理”。

    图2 组件管理

  2. 单击服务列表中指定的服务名称。
  3. 单击“服务配置”。
  4. 将页面右侧“基础配置”切换为“全部配置”。

    图3 全部配置

  5. 在左侧导航栏选择“自定义”,MRS将显示当前组件的自定义参数。

    “参数文件”显示保存用户新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数,设置不同参数值后生效结果由组件加载配置文件的顺序决定。自定义参数支持服务级别与角色级别,请根据业务实际需要选择。不支持单个角色实例添加自定义参数。

  6. 根据配置文件与参数作用,在对应参数项所在行“参数”列输入组件支持的参数名,在“值”列输入此参数的参数值。

    • 支持单击增加或删除一条自定义参数。第一次单击添加自定义参数后才支持删除操作。
    • 修改某个参数的值后需要取消修改,可以单击恢复。

  7. 单击“保存配置”,根据界面提示保存配置。

任务示例

配置Hive自定义参数

Hive依赖于HDFS,默认情况下Hive访问HDFS时是HDFS的客户端,生效的配置参数统一由HDFS控制。例如HDFS参数“ipc.client.rpc.timeout”影响所有客户端连接HDFS服务端的RPC超时时间,如果用户需要单独修改Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。

  1. 在集群详情页,单击“组件管理”。
  2. 选择 “Hive > 服务配置”。
  3. 将页面右侧“基础配置”切换为“全部配置”。
  4. 在左侧导航栏选择Hive服务级别“自定义”,MRS将显示Hive支持的服务级别自定义参数。
  5. 在“core-site.xml”对应参数“core.site.customized.configs”的“参数”输入“ipc.client.rpc.timeout”,“值”输入新的参数值,例如“150000”。单位为毫秒。

    图4 配置Hive自定义参数(以MRS 1.9.2版本为例)

  6. 单击“保存配置”,根据界面提示保存配置。

    图5 保存自定义配置