安装客户端(3.x及之后版本)
操作场景
该操作指导安装工程师安装MRS集群所有服务(不包含Flume)的客户端。Flume客户端安装请参见安装Flume客户端。
客户端可以安装集群内节点,也可以安装在集群外节点,本章节以安装目录“/opt/hadoopclient”为例进行介绍,请以实际集群版本为准。
前提条件
- 安装目录可以不存在,会自动创建。但如果存在,则必须为空。目录路径不能包含空格。
- 客户端节点为集群外部服务器时,必须能够与集群业务平面网络互通,否则安装会失败。
安装客户端
- 获取软件包。
访问FusionInsight Manager(MRS 3.x及之后版本),在“集群”下拉列表中单击需要操作的集群名称。
选择,弹出“下载集群客户端”信息提示框。图1 下载客户端
在只安装单个服务的客户端的场景中,选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”,弹出“下载客户端”信息提示框。
- “选择客户端类型”中选择“完整客户端”。
“仅配置文件”下载的客户端配置文件,适用于应用开发任务中,完整客户端已下载并安装后,MRS集群管理员通过Manager界面修改了服务端配置,开发人员需要更新客户端配置文件的场景。
平台类型包括x86_64和aarch64两种:
- x86_64:可以部署在X86平台的客户端软件包。
- aarch64:可以部署在TaiShan服务器的客户端软件包。
集群支持下载x86_64和aarch64两种类型客户端,但是客户端类型必须待安装节点的架构匹配,否则客户端会安装失败。
- 是否在集群的节点中生成客户端文件?
- 上传软件包。
使用WinSCP工具,以准备安装客户端的用户(如“user_client”),将获取的软件包上传到将要安装客户端的服务器文件目录,例如“/opt/Bigdata/client”。
客户端软件包名称格式为:“FusionInsight_Cluster_<集群ID>_Services_Client.tar”。
后续步骤及章节以FusionInsight_Cluster_1_Services_Client.tar进行举例。客户端所在主机可以是集群内节点,也可以是集群外节点。当该节点为集群外部服务器时,必须能够与集群网络互通,并启用NTP服务以保持与服务端时间一致。
例如可以为外部服务器配置与集群一样的NTP时钟源,配置之后可以执行ntpq -np命令检查时间是否同步。- 如果显示结果的NTP时钟源IP地址前有“*”号,表示同步正常,如下:
remote refid st t when poll reach delay offset jitter ============================================================================== *10.10.10.162 .LOCL. 1 u 1 16 377 0.270 -1.562 0.014
- 如果显示结果的NTP时钟源IP前无“*”号,且“refid”项内容为“.INIT.”,或者回显异常,表示同步不正常,请联系技术支持。
remote refid st t when poll reach delay offset jitter ============================================================================== 10.10.10.162 .INIT. 1 u 1 16 377 0.270 -1.562 0.014
也可以为外部服务器配置与集群一样的chrony时钟源,配置之后可以执行chronyc sources命令检查时间是否同步。
- 如果显示结果的主OMS节点chrony服务IP地址前有“*”号,表示同步正常,如下:
MS Name/IP address Stratum Poll Reach LastRx Last sample =============================================================================== ^* 10.10.10.162 10 10 377 626 +16us[ +15us] +/- 308us
- 如果显示结果的主OMS节点NTP服务IP前无“*”号,且“Reach”项内容为“0”,表示同步不正常。
MS Name/IP address Stratum Poll Reach LastRx Last sample =============================================================================== ^? 10.1.1.1 0 10 0 - +0ns[ +0ns] +/- 0ns
- 如果显示结果的NTP时钟源IP地址前有“*”号,表示同步正常,如下:
- 以user_client用户登录将要安装客户端的服务器。
- 解压软件包。
进入安装包所在目录,例如“/opt/Bigdata/client”。执行如下命令解压安装包到本地目录。
tar -xvf FusionInsight_Cluster_1_Services_Client.tar
- 校验软件包。
执行sha256sum命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如:
sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256
FusionInsight_Cluster_1_Services_Client.tar: OK
- 解压获取的安装文件。
- 配置客户端网络连接。
- 确保客户端所在主机能与解压目录下“hosts”文件(例如“/opt/Bigdata/client/FusionInsight_Cluster_<集群ID>_Services_ClientConfig/hosts”)中所列出的各主机在网络上互通。
- 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的“/etc/hosts”文件(更改此文件需要root用户权限)中设置集群所有节点主机名和业务平面IP地址映射,主机名和IP地址请保持一一对应,可执行以下步骤在hosts文件中导入集群的域名映射关系。
- 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。
- 如果采用yarn-client模式运行Spark任务,请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”,并将参数值设置为客户端的IP地址。
- 当采用yarn-client模式时,为了Spark WebUI能够正常显示,需要在Yarn的主备节点(即集群中的ResourceManager节点)的hosts文件中,配置客户端的IP地址及主机名对应关系。
- 进入安装包所在目录,执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/hadoopclient”目录。
cd /opt/Bigdata/client/FusionInsight_Cluster_1_Services_ClientConfig
执行./install.sh /opt/hadoopclient命令,等待客户端安装完成(以下只显示部分屏显结果)。
The component client is installed successfully
- 如果已经安装的全部服务或某个服务的客户端使用了“/opt/hadoopclient”目录,再安装其他服务的客户端时,需要使用不同的目录。
- 卸载客户端请删除客户端安装目录。
- 如果要求安装后的客户端仅能被该安装用户(如“user_client”)使用,请在安装时加“-o”参数,即执行./install.sh /opt/hadoopclient -o命令安装客户端。
- 如果安装NTP服务器为chrony模式,请在安装时加“chrony”参数,即执行./install.sh /opt/hadoopclient -o chrony命令安装客户端。
- 由于HBase使用的Ruby语法限制,如果安装的客户端中包含了HBase客户端,建议客户端安装目录路径只包含大写字母、小写字母、数字以及_-?.@+=字符。
- 客户端节点为集群外部服务器且此节点无法与主oms节点的业务平面IP互通时或者无法访问主节点的20029端口时,客户端可以正常安装成功,但无法注册到集群中,无法在界面上进行展示。