服务端配置过期后更新MRS集群客户端
在MRS集群运维过程中,管理员经常需要在Manager上修改服务配置参数并重启服务以调整集群行为。服务端配置变更后,已安装的客户端仍使用旧配置文件,导致客户端连接服务端时可能因配置不一致而出现连接失败或功能异常。因此,每次服务端配置变更后,需要及时更新已安装客户端的配置文件,确保客户端与服务端配置保持一致。本文介绍如何在服务端配置变更后更新MRS集群客户端配置。
针对MRS 2.x及之前版本集群,用户创建集群时,默认在集群所有节点的“/opt/client”目录安装保存了原始客户端。集群创建完成后,仅Master节点的客户端可以直接使用,Core节点客户端在使用前需要更新客户端配置文件。
更新客户端配置(3.x及之后版本)
MRS 3.x及之后版本支持以下三种方法更新客户端配置,可根据实际环境选择合适的方法。
方法一:
- 登录MRS集群Manager界面,选择“集群 > 概览 > 更多 > 下载客户端”(MRS 3.3.0及之后版本在“主页”选择“下载客户端”)。
登录集群Manager界面请参考访问MRS集群Manager。
- 选择。
此时生成的压缩文件包含所有服务的配置文件。
图1 下载客户端配置文件
- 配置相关参数。
MRS 3.3.1之前版本:
是否在集群的节点中生成配置文件?MRS 3.3.1及之后版本:- 根据实际情况配置“选择下载位置”参数。
- 服务器端:下载到当前集群的主OMS节点上。
- 浏览器:下载到本地电脑。
- 远端节点:下载到主OMS节点外的其他节点上。
- 根据界面提示配置“保存到如下路径”参数。如果下载位置选择“浏览器”则无需配置该参数。
- 如果选择下载到“远端节点”还需参考表1进行配置。
表1 下载到远端节点配置参数 参数
描述
示例
主机IP
远端节点的IP地址。
远端节点的平台类型需要与所下载客户端的平台类型一致,否则可能导致安装客户端失败。
x.x.x.x
主机端口
远端节点的主机端口。
22
登录用户名称
登录远端节点的用户名称。
远端节点用户需要对下载路径具有写权限。
xxx
登录方式
登录方式:
- 密码:使用密码登录。
- SSH私钥:使用SSH私钥登录。
- 免密:选择该方式,用户需要具有免密登录节点的功能。
密码
登录用户密码
“登录方式”选择“密码”时,需要配置该参数。
配置为登录用户的密码。
xxx
SSH私钥
“登录方式”选择“SSH私钥”时,需要配置该参数。
单击“添加文件”选择SSH私钥文件并上传。
-
自动部署到节点
是否自动部署到节点。客户端类型选择“完整客户端”时,支持配置该参数。
- 是,客户端会自动在当前节点上安装部署。
- 否,客户端不会自动安装部署。需要在客户端下载成功后手动进行安装。
是
客户端部署路径
“自动部署到节点”选择“是”时,需要配置该参数。如果仅下载配置文件,则无该参数。
远端节点上部署路径若已存在,该路径下不能包含任何文件。若不存在,该路径会被创建。登录远端节点用户需要对该路径具有执行和写权限。
/opt/testclient
- 根据实际情况配置“选择下载位置”参数。
- 使用WinSCP工具,以客户端安装用户将压缩文件保存到客户端安装的目录,例如“/opt/hadoopclient”。
- 解压软件包。
例如下载的客户端文件为“FusionInsight_Cluster_1_Services_Client.tar”执行如下命令进入客户端所在目录,解压文件到本地目录。
cd /opt/hadoopclient
tar -xvf FusionInsight_Cluster_1_Services_Client.tar
- 校验软件包。
执行sha256sum命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如:
sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar.sha256
系统显示如下:
FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar: OK
- 解压获取配置文件。
tar -xvf FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar
- 在客户端安装目录下执行如下命令,使用配置文件更新客户端。
sh refreshConfig.sh 客户端安装目录 配置文件所在目录
例如,执行以下命令:
sh refreshConfig.sh /opt/hadoopclient /opt/hadoopclient/FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles
界面显示以下信息表示配置刷新更新成功:
Succeed to refresh components client config.
方法二:
- 以root用户登录客户端安装节点。
- 进入客户端安装的目录,例如“/opt/hadoopclient”,执行以下命令更新配置文件:
cd /opt/hadoopclient
sh autoRefreshConfig.sh
- 按照提示输入FusionInsight Manager管理员用户名,密码以及OMS浮动IP地址。
OMS浮动IP地址获取方式:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。
- 输入需要更新配置的组件名,组件名之间使用“,”分隔。如需更新所有组件配置,可直接单击回车键。
界面显示以下信息表示配置刷新更新成功:
Succeed to refresh components client config.
方法三:(仅适用于MRS 3.3.1及之后版本)
- 登录MRS集群Manager界面。
登录集群Manager界面请参考访问MRS集群Manager。
- 选择“集群 > 客户端管理”,在客户端管理界面查看是否存在待操作的客户端。
- 在待更新的客户端后的“操作”列单击“更新”。
如果需要批量更新客户端,请勾选待更新的客户端(客户端的安装“用户”必须相同)后,选择“更多 > 批量更新”。
- 确认并勾选操作影响,配置表2信息后,单击“确定”进行更新。
更新客户端配置期间,客户端不能正常对外提供服务,可能导致使用客户端的业务中断。
表2 更新客户端参数配置 参数名称
取值样例
描述
登录方式
密码
登录方式:
- 密码:使用密码登录。
- SSH私钥:使用SSH私钥登录。
- 免密:选择该方式,用户需要具有免密登录节点的功能。
密码/SSH私钥
xxx
- “登录方式”选择“密码”时,需要配置用户密码。
- “登录方式”选择“SSH私钥”时,需要配置“SSH私钥”参数。单击“添加文件”选择SSH私钥文件并上传。
主机端口
22
待更新客户端安装节点的主机端口。
安装包保存路径
/tmp/FusionInsight-Client/
更新后客户端安装包保存路径。
安装包保存到所选节点对应路径,如果存在客户端文件,会覆盖路径下已有的客户端文件。登录远端节点用户需要对该路径具有写权限。
验证操作:
在Manager界面的“集群 > 客户端管理”页面,查看客户端的状态是否正常。也可以在客户端安装节点执行组件命令(如hdfs dfs -ls /),若命令正常执行且无配置过期提示,则表示客户端配置更新成功。
更新客户端配置(2.x及之前版本)
MRS 2.x及之前版本支持以下两种方法更新客户端配置。
方法一:所有版本集群均支持使用。
- 登录MRS集群Manager界面,选择“服务管理”。
登录集群Manager界面请参考访问MRS集群Manager。
- 单击“下载客户端”。
“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。
图2 下载客户端配置文件
- 查询并登录主Master节点。
- 若在集群内使用客户端,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。
sudo su - omm
- 执行以下命令切换客户端目录。
cd {客户端安装目录} - 执行以下命令,更新客户端配置。
sh refreshConfig.sh 客户端安装目录客户端配置文件压缩包完整路径
例如:
sh refreshConfig.sh /opt/Bigdata/client /tmp/MRS-client/MRS_Services_Client.tar
界面显示以下信息表示配置刷新更新成功:
ReFresh components client config is complete. Succeed to refresh components client config.
方法二:
- 集群安装完成之后,执行以下命令切换到omm用户,若在集群外使用客户端,请切换到root用户。
sudo su - omm
- 执行以下命令切换客户端目录。
cd {客户端安装目录} - 执行以下命令并按照提示输入MRS Manager有下载权限的用户名和密码(例如,用户名为admin,密码为创建集群时设置的密码),更新客户端配置。
sh autoRefreshConfig.sh
- 命令执行后显示如下信息,其中XXX表示集群安装的组件名称,如需更新全部组件配置,单击“Enter”键,如需更新部分组件配置,请输入需要更新的组件名称,多个组件名称以逗号相隔。
Components "xxx" have been installed in the cluster. Please input the comma-separated names of the components for which you want to update client configurations. If you press Enter without inputting any component name, the client configurations of all components will be updated:
界面显示以下信息表示配置更新成功:
Succeed to refresh components client config.
界面显示以下信息表示用户名或者密码错误:
login manager failed,Incorrect username or password.
- 该脚本会自动连接到集群并调用refreshConfig.sh脚本下载并刷新客户端配置文件。
- 客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置,如需刷新为其他集群的配置文件,请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。
验证操作:
在客户端安装目录下执行组件命令(如hdfs dfs -ls /),若命令正常执行且无配置过期提示,则表示客户端配置更新成功。
常见问题
- 客户端配置更新失败
更新失败的常见原因包括:Manager服务不可达、OMS浮动IP地址填写错误、Manager管理员用户名或密码错误、客户端安装目录下缺少refreshConfig.sh或autoRefreshConfig.sh脚本。
请确认Manager服务状态正常、OMS浮动IP地址正确。使用autoRefreshConfig.sh脚本时,确保输入正确的Manager管理员用户名和密码。检查客户端安装目录是否完整。若问题仍然存在,请重新下载完整客户端安装包并重新安装。
- autoRefreshConfig.sh提示用户名或密码错误
输入的Manager用户名或密码不正确,或该用户没有下载客户端配置文件的权限。
- 请确认使用的是Manager管理员用户名和密码(例如,用户名为admin,密码为创建集群时设置的密码)。如果密码已修改,请使用修改后的密码。
- 更新后客户端仍提示配置过期
可能原因包括:更新过程中选择了部分组件而非全部组件,导致未更新的组件配置仍然过期;或客户端安装目录下的Version文件中“wsom=xxx”配置的浮动IP指向了错误的集群。
使用autoRefreshConfig.sh脚本时,在组件选择步骤直接按Enter键更新全部组件配置。检查Version文件中的值是否为当前集群的OMS浮动IP地址。
相关文档
- 了解如何查看已安装的MRS集群客户端,请参考查看已安装的MRS集群客户端。
- 了解如何手动安装MRS集群客户端,请参考安装客户端(3.x版本)。