更新时间:2024-09-04 GMT+08:00

添加MRS组件自定义参数

MRS集群内各个大数据组件通常支持开源社区的所有参数,其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改,且部分组件的客户端可能不包含开源特性的所有参数。

如果需要修改或者添加界面中未包含的配置参数,用户可以通过自定义配置项功能为组件添加新的参数,添加的新参数最终将保存在组件的配置文件中并在重启后生效。

操作视频

本视频分别介绍了通过MRS管理控制台或FusionInsight Manager界面修改服务参数的操作过程。

因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。

前提条件

  • 用户已充分了解需要新添加的参数意义、生效的配置文件以及对组件的影响。
  • 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)
  • 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager

对系统的影响

  • 配置服务属性后,如果服务状态为“配置过期”,则需要重启此服务,重启期间无法访问服务。
  • 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并安装客户端,或者下载配置文件刷新客户端。

通过管理控制台添加自定义参数

  1. 登录MRS管理控制台。
  2. 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
  3. 在集群详情页,单击“组件管理”。
  4. 单击服务列表中指定的服务名称。
  5. 单击“服务配置”。
  6. 将页面右侧“基础配置”切换为“全部配置”。

    图1 全部配置

  7. 在左侧导航栏定位到某个一级节点,并选择“自定义”,MRS将显示当前组件的自定义参数。

    • 自定义参数支持服务级别与角色级别,请根据业务实际需要选择。
    • 不支持单个角色实例添加自定义参数。
    • “参数文件”显示保存用户新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数,设置不同参数值后生效结果由组件加载配置文件的顺序决定。

  8. 根据配置文件与参数作用,在对应参数项所在行“参数”列输入组件支持的参数名,在“值”列输入此参数的参数值。

    • 支持单击,增加或删除一条自定义参数。第一次单击添加自定义参数后才支持删除操作。
    • 修改某个参数的值后需要取消修改,可以单击恢复。

  9. 单击“保存配置”,根据界面提示保存配置。

通过Manager添加自定义参数

MRS 3.x及之后版本:

  1. 登录FusionInsight Manager。
  2. 选择“集群 > 服务”。
  3. 单击服务视图中指定的服务名称。
  4. 选择配置 > 全部配置
  5. 在左侧导航栏定位到某个一级节点,并选择“自定义”,Manager将显示当前组件的自定义参数。

    • 自定义参数支持服务级别与角色级别,请根据业务实际需要选择。
    • 不支持单个角色实例添加自定义参数。
    • “参数文件”显示保存用户新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数,设置不同参数值后生效结果由组件加载配置文件的顺序决定。

  6. 在对应参数项所在行“名称”列输入组件支持的参数名,在“值”列输入此参数的参数值。

    支持单击“+”“-”增加或删除一条自定义参数。

  7. 单击“保存”,在弹出的“保存配置”窗口中确认修改参数,单击“确定”。界面提示“操作成功。”,单击“完成”,配置保存成功。

    保存完成后请重新启动配置过期的服务或实例以使配置生效。

    配置参数前包含图标时,表示该参数为动态生效,保存配置后参数值会自动刷新到配置文件中。(动态生效图标仅MRS 3.2.0及之后版本支持)

MRS 2.x及之前版本:

  1. 在MRS Manager界面,单击“服务管理”。
  2. 单击服务列表中指定的服务名称。
  3. 单击“服务配置”。
  4. 在“参数类别”选择“全部配置”。

    图2 服务全部配置

  5. 在左侧导航栏选择“自定义”,Manager将显示当前组件的自定义参数。

    • 自定义参数支持服务级别与角色级别,请根据业务实际需要选择。
    • 不支持单个角色实例添加自定义参数。
    • “参数文件”显示保存用户新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数,设置不同参数值后生效结果由组件加载配置文件的顺序决定。
    图3 服务自定义配置

  6. 根据配置文件与参数作用,在对应参数项所在行“名称”列输入组件支持的参数名,在“值”列输入此参数的参数值。

    • 支持单击增加或删除一条自定义参数。第一次单击添加自定义参数后才支持删除操作。
    • 修改某个参数的值后需要取消修改,可以单击恢复。

  7. 单击“保存配置”,勾选“重新启动受影响的服务或实例。”并单击“确定”重启服务。

    界面提示“操作成功。”,单击“完成”,服务成功启动。

任务示例:添加Hive自定义参数

Hive依赖于HDFS,默认情况下Hive访问HDFS时是HDFS的客户端,生效的配置参数统一由HDFS控制。

例如HDFS参数“ipc.client.rpc.timeout”影响所有客户端连接HDFS服务端的RPC超时时间,如果用户需要单独修改Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。

  1. 登录MRS管理控制台。
  2. 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
  3. 在集群详情页,单击“组件管理”。
  4. 选择 “Hive > 服务配置”。
  5. 将页面右侧“基础配置”切换为“全部配置”。
  6. 在左侧导航栏选择Hive服务级别“自定义”,MRS将显示Hive支持的服务级别自定义参数。
  7. 在“core-site.xml”对应参数“core.site.customized.configs”的“参数”输入“ipc.client.rpc.timeout”,“值”输入新的参数值,例如“150000”。单位为毫秒。

    图4 配置Hive自定义参数

  8. 单击“保存配置”,根据界面提示保存配置。

    图5 保存自定义配置