安装客户端（3.x及之后版本）

操作场景

该操作指导用户在MRS集群创建成功后安装MRS集群所有服务（不包含Flume）的客户端。Flume客户端安装请参见安装Flume客户端。

客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。

修改集群内组件的服务端配置后，建议重新安装客户端，否则客户端与服务端版本将不一致，可能影响正常使用。

操作视频

本视频将以MRS 3.1.0版本集群为例为您介绍手动安装及使用客户端的操作方法。

因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。

前提条件

• 待安装客户端节点为集群外节点时，该节点必须能够与集群内节点网络互通，否则安装会失败。
• 待安装客户端节点必须启用NTP服务，并保持与服务端的时间一致，否则安装会失败。
• 在节点上安装客户端可以使用root或任意操作系统用户进行操作，要求该用户对客户端文件存放目录和安装目录具有操作权限，两个目录的权限为“755”。

  本章节以使用操作系统用户“user_client”安装客户端进行举例，安装目录为“/opt/hadoopclient”。

• 使用omm和root以外的用户安装客户端时，若“/var/tmp/patch”目录已存在，需将此目录权限修改为“777”，将此目录内的日志权限修改为“666”。

集群内节点安装客户端

1. 获取客户端软件包。
   参考访问FusionInsight Manager（MRS 3.x及之后版本）访问Manager，单击“集群”在“概览”选择“更多 > 下载客户端”，弹出“下载集群客户端”提示框，选择相关下载参数后单击“确定”。

   图1 下载客户端
   

   

   • 在Manager主页下载的客户端软件包，包含了集群内所有服务（除Flume之外）的客户端。如果只需要安装单个服务的客户端，请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。
   • MRS 3.3.0及之后版本，可以在主页中直接单击“下载客户端”。

   表1 客户端下载参数说明

   参数	描述	示例
   选择客户端类型	完整客户端：包含完整客户端软件包及配置文件，适用于非开发任务场景。 仅配置文件：仅下载客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了服务端配置，开发人员需要更新客户端配置文件的场景。	完整客户端
   选择平台类型	客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64：可以部署在X86平台的客户端软件包。 aarch64：可以部署在TaiShan服务器的客户端软件包。	x86_64
   仅保存到如下路径	指定客户端软件包在主OMS节点的存放路径。 勾选“仅保存到如下路径”：自定义客户端软件包在主OMS节点的存放路径，omm用户需拥有该目录的读、写与执行权限。 如未修改保存路径，文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。 不勾选“仅保存到如下路径”：文件生成后将自动下载并保存至本地，安装客户端时需将其上传至待安装客户端节点的指定目录。	勾选“仅保存到如下路径”

2. 复制客户端软件包到待安装客户端节点的指定目录。

   客户端软件包生成后默认保存在集群主OMS节点，若需要在集群内其他节点上安装客户端，需以omm用户登录主OMS节点，执行以下命令复制软件包到指定节点，否则跳过本步骤。

   例如复制到“/tmp/clienttemp”目录：

   scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp

3. 以待安装客户端的用户（如user_client）登录将要安装客户端的节点。
   

   在节点上安装客户端可以使用root或其他任意操作系统用户进行操作，要求该用户对客户端文件存放目录和安装目录具有操作权限，两个目录的权限为“755”。

4. 解压客户端软件包。
   1. 进入客户端软件包所在的目录，例如“/tmp/clienttemp”。

      cd /tmp/clienttemp

   2. 执行如下命令解压安装包获取“FusionInsight_Cluster_1_Services_ClientConfig.tar”：

      tar -xvf FusionInsight_Cluster_1_Services_Client.tar

   3. 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致，例如：

      sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256

      FusionInsight_Cluster_1_Services_ClientConfig.tar: OK     

   4. 执行以下命令解压“FusionInsight_Cluster_1_Services_ClientConfig.tar”：

      tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

5. 进入客户端软件包目录，执行如下命令安装客户端到指定目录。

   cd FusionInsight_Cluster_1_Services_ClientConfig

   ./install.sh 客户端安装目录

   例如执行./install.sh /opt/hadoopclient命令安装客户端，等待客户端安装完成。

   ...
   The component client is installed successfully

   

   • 客户端安装目录可以不存在，会自动创建。但如果存在，则必须为空，目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。
   • 卸载客户端请手动删除客户端安装目录。
   • 如果要求安装后的客户端仅能被该安装用户使用，请在安装时加“-o”参数，例如执行./install.sh /opt/hadoopclient -o命令安装客户端。

6. 客户端安装完成后，可参考“各组件客户端使用实践”使用客户端。

集群外节点安装客户端

1. 创建一个满足要求的弹性云服务器，要求如下：
   • 已准备一个Linux弹性云服务器，主机操作系统及版本建议参见表2。

     表2 参考列表

     CPU架构	操作系统	支持的版本号
     x86计算	Euler	EulerOS 2.5
     	SUSE	SUSE Linux Enterprise Server 12 SP4（SUSE 12.4）
     	Red Hat	Red Hat-7.5-x86_64（Red Hat 7.5）
     	CentOS	CentOS-7.6版本（CentOS 7.6）
     鲲鹏计算(ARM)	Euler	EulerOS 2.8
     	CentOS	CentOS-7.6版本（CentOS 7.6）

     同时为弹性云服务分配足够的磁盘空间，例如“40GB”。

   • 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
   • 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
   • 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。

     若未安装，在配置了yum源的情况下，可执行yum install ntp -y命令自行安装。

   • 需要允许用户使用密码方式登录Linux弹性云服务器（SSH方式）。
   • MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。

2. 执行NTP时间同步，使集群外节点的时间与MRS集群时间同步。
   1. 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。

      server master1_ip prefer
      server master2_ip 

      图2 增加Master节点的IP
      
   2. 执行service ntpd stop命令关闭NTP服务。
   3. 执行如下命令，手动同步一次时间：

      /usr/sbin/ntpdate 192.168.10.8

      

      192.168.10.8为主Master节点的IP地址。

   4. 执行service ntpd start或systemctl restart ntpd命令启动NTP服务。
   5. 执行ntpstat命令查看时间同步结果。

3. 获取客户端软件包。
   参考访问FusionInsight Manager（MRS 3.x及之后版本）访问Manager，单击“集群”在“概览”选择“更多 > 下载客户端”，弹出“下载集群客户端”提示框，选择相关下载参数后单击“确定”。

   图3 下载客户端
   

   

   • 在Manager主页下载的客户端软件包，包含了集群内所有服务（除Flume之外）的客户端。如果只需要安装单个服务的客户端，请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。
   • MRS 3.3.0及之后版本，可以在主页中直接单击“下载客户端”。

   表3 客户端下载参数说明

   参数	描述	示例
   选择客户端类型	完整客户端：包含完整客户端软件包及配置文件，适用于非开发任务场景。 仅配置文件：仅下载客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了服务端配置，开发人员需要更新客户端配置文件的场景。	完整客户端
   选择平台类型	客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64：可以部署在X86平台的客户端软件包。 aarch64：可以部署在TaiShan服务器的客户端软件包。	x86_64
   仅保存到如下路径	指定客户端软件包在主OMS节点的存放路径。 勾选“仅保存到如下路径”：自定义客户端软件包在主OMS节点的存放路径，omm用户需拥有该目录的读、写与执行权限。 如未修改保存路径，文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。 不勾选“仅保存到如下路径”：文件生成后将自动下载并保存至本地，安装客户端时需将其上传至待安装客户端节点的指定目录。	勾选“仅保存到如下路径”

4. 复制客户端软件包到待安装客户端节点的指定目录。

   客户端软件包生成后默认保存在集群主OMS节点，需以omm用户登录主OMS节点，执行以下命令复制软件包到指定弹性云服务器节点。

   例如复制到“/tmp/clienttemp”目录：

   scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp

5. 以待安装客户端的用户（如user_client）登录将要安装客户端的节点。
   

   在节点上安装客户端可以使用root或其他任意操作系统用户进行操作，要求该用户对客户端文件存放目录和安装目录具有操作权限，两个目录的权限为“755”。

6. 解压客户端软件包。
   1. 进入客户端软件包所在的目录，例如“/tmp/clienttemp”。

      cd /tmp/clienttemp

   2. 执行如下命令解压安装包获取“FusionInsight_Cluster_1_Services_ClientConfig.tar”：

      tar -xvf FusionInsight_Cluster_1_Services_Client.tar

   3. 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致，例如：

      sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256

      FusionInsight_Cluster_1_Services_ClientConfig.tar: OK     

   4. 执行以下命令解压“FusionInsight_Cluster_1_Services_ClientConfig.tar”：

      tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

7. 检查客户端网络连接。
   1. 确保客户端所在主机能与解压目录下“hosts”文件（例如“/tmp/FusionInsight_Cluster_1_Services_ClientConfig/hosts”）中所列出的各主机在网络上互通。
   2. 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的“/etc/hosts”文件（更改此文件需要root用户权限）中设置集群所有节点主机名和业务平面IP地址映射，主机名和IP地址请保持一一对应，可执行以下步骤在hosts文件中导入集群的域名映射关系。
      1. 切换至root用户或者其他具有修改hosts文件权限的用户。

         su - root

      2. 进入客户端解压目录。

         cd /tmp/clienttemp/FusionInsight_Cluster_1_Services_ClientConfig

      3. 执行cat realm.ini >> /etc/hosts，将域名映射关系导入到hosts文件中。
   

   • 当客户端所在主机不是集群中的节点时，配置客户端网络连接，可避免执行客户端命令时出现错误。
   • 如果采用yarn-client模式运行Spark任务，请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”，并将参数值设置为客户端的IP地址。
   • 当采用yarn-client模式时，为了Spark WebUI能够正常显示，需要在Yarn的主备节点（即集群中的ResourceManager节点）的hosts文件中，配置客户端的IP地址及主机名对应关系。

8. 以待安装客户端的用户（user_client）登录将要安装客户端的节点，进入客户端软件包目录，执行如下命令安装客户端到指定目录。

   cd /tmp/clienttemp/FusionInsight_Cluster_1_Services_ClientConfig

   ./install.sh 客户端安装目录

   例如执行./install.sh /opt/hadoopclient命令安装客户端，等待客户端安装完成。

   ...
   The component client is installed successfully

   

   • 客户端安装目录可以不存在，会自动创建。但如果存在，则必须为空，目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。
   • 卸载客户端请手动删除客户端安装目录。
   • 如果要求安装后的客户端仅能被该安装用户使用，请在安装时加“-o”参数，例如执行./install.sh /opt/hadoopclient -o命令安装客户端。

9. 客户端安装完成后，可参考“各组件客户端使用实践”使用客户端。