添加MRS组件自定义参数
MRS集群内各个大数据组件通常支持开源社区的所有参数,其中部分常用场景的配置参数支持在MRS管理控制台或者Manager中进行修改,且部分组件的客户端可能不包含开源特性的所有参数。
如果需要修改或者添加界面中未包含的配置参数,用户可以通过自定义配置项功能为组件添加新的参数,添加的新参数最终将保存在组件的配置文件中并在重启后生效。
操作视频
本视频分别介绍了通过MRS管理控制台或FusionInsight Manager界面修改服务参数的操作过程。
因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。
添加组件自定义参数前提条件
- 用户已充分了解需要新添加的参数意义、生效的配置文件以及对组件的影响。
- 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
- 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。
添加组件自定义参数对系统的影响
- 配置服务属性后,如果服务状态为“配置过期”,则需要重启此服务,重启期间无法访问服务。
- 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并安装客户端,或者下载配置文件刷新客户端。
通过管理控制台添加自定义参数
- 登录MRS管理控制台。
- 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
- 在集群详情页,单击“组件管理”。
- 单击服务列表中指定的服务名称。
- 单击“服务配置”。
- 将页面右侧“基础配置”切换为“全部配置”。
图1 全部配置
- 在左侧导航栏定位到某个一级节点,并选择“自定义”,MRS将显示当前组件的自定义参数。
- 自定义参数支持服务级别与角色级别,请根据业务实际需要选择。
- 不支持单个角色实例添加自定义参数。
- “参数文件”显示保存用户新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数,设置不同参数值后生效结果由组件加载配置文件的顺序决定。
- 根据配置文件与参数作用,在对应参数项所在行“参数”列输入组件支持的参数名,在“值”列输入此参数的参数值。
- 支持单击或,增加或删除一条自定义参数。第一次单击添加自定义参数后才支持删除操作。
- 修改某个参数的值后需要取消修改,可以单击恢复。
- 单击“保存配置”,根据界面提示保存配置。
通过Manager添加自定义参数
MRS 3.x及之后版本:
- 登录FusionInsight Manager。
- 选择“集群 > 服务”。
- 单击服务视图中指定的服务名称。
- 选择 。
- 在左侧导航栏定位到某个一级节点,并选择“自定义”,Manager将显示当前组件的自定义参数。
- 自定义参数支持服务级别与角色级别,请根据业务实际需要选择。
- 不支持单个角色实例添加自定义参数。
- “参数文件”显示保存用户新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数,设置不同参数值后生效结果由组件加载配置文件的顺序决定。
- 在对应参数项所在行“名称”列输入组件支持的参数名,在“值”列输入此参数的参数值。
支持单击“+”或“-”增加或删除一条自定义参数。
- 单击“保存”,在弹出的“保存配置”窗口中确认修改参数,单击“确定”。界面提示“操作成功。”,单击“完成”,配置保存成功。
保存完成后请重新启动配置过期的服务或实例以使配置生效。
配置参数前包含图标时,表示该参数为动态生效,保存配置后参数值会自动刷新到配置文件中。(动态生效图标仅MRS 3.2.0及之后版本支持)
MRS 2.x及之前版本:
- 在MRS Manager界面,单击“服务管理”。
- 单击服务列表中指定的服务名称。
- 单击“服务配置”。
- 在“参数类别”选择“全部配置”。
图2 服务全部配置
- 在左侧导航栏选择“自定义”,Manager将显示当前组件的自定义参数。
- 自定义参数支持服务级别与角色级别,请根据业务实际需要选择。
- 不支持单个角色实例添加自定义参数。
- “参数文件”显示保存用户新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数,设置不同参数值后生效结果由组件加载配置文件的顺序决定。
图3 服务自定义配置
- 根据配置文件与参数作用,在对应参数项所在行“名称”列输入组件支持的参数名,在“值”列输入此参数的参数值。
- 支持单击和增加或删除一条自定义参数。第一次单击添加自定义参数后才支持删除操作。
- 修改某个参数的值后需要取消修改,可以单击恢复。
- 单击“保存配置”,勾选“重新启动受影响的服务或实例。”并单击“确定”重启服务。
界面提示“操作成功。”,单击“完成”,服务成功启动。
任务示例:添加Hive自定义参数
Hive依赖于HDFS,默认情况下Hive访问HDFS时是HDFS的客户端,生效的配置参数统一由HDFS控制。
例如HDFS参数“ipc.client.rpc.timeout”影响所有客户端连接HDFS服务端的RPC超时时间,如果用户需要单独修改Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。
- 登录MRS管理控制台。
- 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
- 在集群详情页,单击“组件管理”。
- 选择 “Hive > 服务配置”。
- 将页面右侧“基础配置”切换为“全部配置”。
- 在左侧导航栏选择Hive服务级别“自定义”,MRS将显示Hive支持的服务级别自定义参数。
- 在“core-site.xml”对应参数“core.site.customized.configs”的“参数”输入“ipc.client.rpc.timeout”,“值”输入新的参数值,例如“150000”。单位为毫秒。
图4 配置Hive自定义参数
- 单击“保存配置”,根据界面提示保存配置。
图5 保存自定义配置