安装客户端（3.x版本）

操作视频

本视频将以MRS 3.1.0版本集群为例为您介绍手动安装及使用客户端的操作方法。

因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。

客户端安装前提条件

• 待安装客户端节点为集群外节点时，该节点必须能够与MRS集群内节点网络互通，否则安装会失败。
• 待安装客户端节点必须启用NTP服务，并保持与MRS集群服务端的时间一致，否则安装会失败。
• 在节点上安装客户端可以使用root或其它操作系统用户进行操作，该用户需要对客户端文件存放目录和安装目录具有操作权限，例如两个目录的权限为“755”。
• 使用omm和root以外的用户安装客户端时，若“/var/tmp/patch”目录已存在，需将此目录权限修改为“777”，将此目录内的日志权限修改为“666”。

在集群内节点安装客户端（MRS 3.3.1之前版本）

1. 获取客户端软件包。
   参考访问MRS集群Manager登录集群Manager，单击“集群”，在“概览”页面选择“更多 > 下载客户端”，弹出“下载集群客户端”提示框，选择相关下载参数后单击“确定”。

   图1 下载客户端
   

   

   • 在Manager主页下载的客户端软件包，包含了集群内所有服务（除Flume之外）的客户端。如果只需要安装单个服务的客户端，请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。
   • MRS 3.3.0及之后版本，在Manager主页中直接单击“下载客户端”即可。

   表1 客户端下载参数说明

   参数	描述	示例
   选择客户端类型	完整客户端：包含完整客户端软件包及配置文件，通常选择该选项。 仅配置文件：仅下载客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了组件服务端配置，开发人员需要更新客户端配置文件的场景。	完整客户端
   选择平台类型	客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。 LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64：可以部署在X86平台的客户端软件包。 aarch64：可以部署在鲲鹏服务器的客户端软件包。	x86_64
   仅保存到如下路径	指定客户端软件包在主OMS节点的存放路径。 勾选“仅保存到如下路径”：自定义客户端软件包在主OMS节点的存放路径，omm用户需拥有该目录的读、写与执行权限。 如未修改保存路径，文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。 不勾选“仅保存到如下路径”：文件生成后将自动下载并保存至本地，安装客户端时需将其上传至待安装客户端节点的指定目录。	勾选“仅保存到如下路径”

2. 复制客户端软件包到待安装客户端节点的指定目录。

   客户端软件包生成后默认保存在集群主OMS节点，若需要在集群内其他节点上安装客户端，需以omm用户登录主OMS节点，执行以下命令复制软件包到指定节点，否则跳过本步骤。

   例如复制到“/tmp/clienttemp”目录：

   scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp

3. 以待安装客户端的用户登录将要安装客户端的节点。
   

   在节点上安装客户端可以使用root用户、omm用户或其他任意操作系统用户进行操作，该用户对客户端文件存放目录和安装目录具有操作权限即可，两个目录的权限为“755”。

4. 解压客户端软件包。
   1. 进入客户端软件包所在的目录，例如“/tmp/clienttemp”。

      cd /tmp/clienttemp

   2. 执行如下命令解压安装包。

      tar -xvf FusionInsight_Cluster_1_Services_Client.tar

   3. 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致。

      sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256

      FusionInsight_Cluster_1_Services_ClientConfig.tar: OK     

   4. 执行以下命令继续解压安装包。

      tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

5. 进入客户端软件包解压目录，执行如下命令安装客户端到指定目录。

   cd FusionInsight_Cluster_1_Services_ClientConfig

   ./install.sh 客户端安装目录

   例如执行：

   ./install.sh /opt/hadoopclient

   等待客户端安装完成。

   ...
   The component client is installed successfully

   

   • 客户端安装目录可以不存在，系统会自动创建，如果存在则必须为空。安装目录路径不能包含空格，且只能包含大写字母、小写字母、数字以及_字符。
   • 卸载客户端请手动删除客户端安装目录。
   • 如果要求安装后的客户端仅能被当前安装用户使用，可在安装时添加“-o”参数，例如执行./install.sh /opt/hadoopclient -o命令安装客户端。

6. 检查客户端是否安装成功。
   1. 执行以下命令进入客户端安装目录并加载环境变量。

      cd /opt/hadoopclient

      source bigdata_env

   2. 根据集群模式执行相关命令。
      • 如果集群未开启Kerberos认证，则可以直接执行组件客户端相关命令。

        例如使用HDFS客户端命令查看HDFS根目录文件：

        hdfs dfs -ls /

      • 如果集群开启了Kerberos认证，执行kinit命令进行用户认证。

        例如：

        kinit admin

        Password for xxx@HADOOP.COM: #输入admin用户登录密码

        输入klist命令查询并确认权限内容。

        Ticket cache: FILE:/tmp/krb5cc_0 
        Default principal: xxx@HADOOP.COM   
        
        Valid starting       Expires              Service principal 
        ...

在集群外节点安装客户端（MRS 3.3.1之前版本）

1. 准备一个用于安装MRS集群客户端的Linux弹性云服务器。
   • 云服务器操作系统及版本建议如下：

     表2 操作系统参考列表

     CPU架构	操作系统	支持的版本号
     x86计算	Euler	EulerOS 2.5
     	SUSE	SUSE Linux Enterprise Server 12 SP4（SUSE 12.4）
     	Red Hat	Red Hat-7.5-x86_64（Red Hat 7.5）
     	CentOS	CentOS-7.6版本（CentOS 7.6）
     鲲鹏计算	Euler	EulerOS 2.8
     	CentOS	CentOS-7.6版本（CentOS 7.6）

     

     Kudu 1.17.0版本的集群外客户端只支持EulerOS 2.9及以上版本使用。

   • 弹性云服务器客户端安装目录需要分配足够的磁盘空间，至少40GB。
   • 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。
   • MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。
   • 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。

     若未安装，在配置了yum源的情况下，可执行yum install ntp -y命令进行安装。

   • 弹性云服务器需要允许用户使用密码方式登录（SSH方式）。

2. 配置待安装客户端节点的NTP时间同步，使节点时间与MRS集群时间同步。
   1. 登录MRS服务管理控制台，在集群列表单击MRS集群名称，进入MRS集群详情页面。
   2. 单击“节点管理”，展开Master节点组列表，查看集群Master1、Master2节点的IP地址信息。
      图2 查看Master节点IP地址
      
   3. 使用root用户登录待安装客户端的节点，执行以下命令编辑NTP配置文件，增加MRS集群中Master1、Master2节点的IP地址并注释掉其余server地址。
      vi /etc/ntp.conf

      server master1_ip prefer
      server master2_ip 

      图3 NTP配置文件修改示例
      
   4. 保存配置文件后，执行以下命令关闭NTP服务。

      service ntpd stop

   5. 执行如下命令，手动同步一次时间。

      /usr/sbin/ntpdate 主Master节点的IP地址

   6. 执行以下命令启动NTP服务。

      service ntpd start

      或者：

      systemctl restart ntpd

   7. 执行ntpstat命令查看时间同步结果。

      synchronised to NTP server (xxx) at stratum 2
         time correct to within 12 ms
         polling server every 16 s

3. 获取客户端软件包。
   参考访问MRS集群Manager登录集群Manager，单击“集群”，在“概览”页面选择“更多 > 下载客户端”，弹出“下载集群客户端”提示框，选择相关下载参数后单击“确定”。

   图4 下载客户端
   

   

   • 在Manager主页下载的客户端软件包，包含了集群内所有服务（除Flume之外）的客户端。如果只需要安装单个服务的客户端，请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。
   • MRS 3.3.0及之后版本，在Manager主页中直接单击“下载客户端”即可。

   表3 客户端下载参数说明

   参数	描述	示例
   选择客户端类型	完整客户端：包含完整客户端软件包及配置文件，通常选择该选项。 仅配置文件：仅下载客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了组件服务端配置，开发人员需要更新客户端配置文件的场景。	完整客户端
   选择平台类型	客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。 LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64：可以部署在X86平台的客户端软件包。 aarch64：可以部署在鲲鹏服务器的客户端软件包。	x86_64
   仅保存到如下路径	指定客户端软件包在主OMS节点的存放路径。 勾选“仅保存到如下路径”：自定义客户端软件包在主OMS节点的存放路径，omm用户需拥有该目录的读、写与执行权限。 如未修改保存路径，文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。 不勾选“仅保存到如下路径”：文件生成后将自动下载并保存至本地，安装客户端时需将其上传至待安装客户端节点的指定目录。	勾选“仅保存到如下路径”

4. 复制客户端软件包到待安装客户端节点的指定目录。

   客户端软件包生成后默认保存在集群主OMS节点，若需要在集群内其他节点上安装客户端，需以omm用户登录主OMS节点，执行以下命令复制软件包到指定节点，否则跳过本步骤。

   例如复制到“/tmp/clienttemp”目录：

   scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp

5. 以待安装客户端的用户登录将要安装客户端的节点。
   

   在节点上安装客户端可以使用root用户、omm用户或其他任意操作系统用户进行操作，该用户对客户端文件存放目录和安装目录具有操作权限即可，两个目录的权限为“755”。

6. 解压客户端软件包。
   1. 进入客户端软件包所在的目录，例如“/tmp/clienttemp”。

      cd /tmp/clienttemp

   2. 执行如下命令解压安装包。

      tar -xvf FusionInsight_Cluster_1_Services_Client.tar

   3. 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致。

      sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256

      FusionInsight_Cluster_1_Services_ClientConfig.tar: OK     

   4. 执行以下命令继续解压安装包。

      tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

7. 检查客户端网络连接。
   1. 在待安装客户端节点的“/etc/hosts”文件中设置集群所有节点主机名和IP地址映射，可执行以下步骤在hosts文件中导入集群的域名映射关系。
      1. 切换至root用户或者其他具有修改hosts文件权限的用户。

         su - root

      2. 进入客户端解压目录。

         cd /tmp/clienttemp/FusionInsight_Cluster_1_Services_ClientConfig

      3. 执行以下命令将域名映射关系导入到hosts文件中。

         cat realm.ini >> /etc/hosts

   

   • 当客户端所在主机不是集群中的节点时，配置客户端网络连接，可避免执行客户端命令时出现错误。
   • 如果采用yarn-client模式运行Spark任务，请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”，并将参数值设置为客户端的IP地址。
   • 当采用yarn-client模式时，为了Spark WebUI能够正常显示，需要在Yarn的主备节点（即集群中的ResourceManager节点）的hosts文件中，配置客户端的IP地址及主机名对应关系。

8. 进入客户端软件包解压目录，执行如下命令安装客户端到指定目录。

   cd FusionInsight_Cluster_1_Services_ClientConfig

   ./install.sh 客户端安装目录

   例如执行：

   ./install.sh /opt/hadoopclient

   等待客户端安装完成。

   ...
   The component client is installed successfully

   

   • 客户端安装目录可以不存在，系统会自动创建，如果存在则必须为空。安装目录路径不能包含空格，且只能包含大写字母、小写字母、数字以及_字符。
   • 卸载客户端请手动删除客户端安装目录。
   • 如果要求安装后的客户端仅能被当前安装用户使用，可在安装时添加“-o”参数，例如执行./install.sh /opt/hadoopclient -o命令安装客户端。

9. 检查客户端是否安装成功。
   1. 执行以下命令进入客户端安装目录并加载环境变量。

      cd /opt/hadoopclient

      source bigdata_env

   2. 根据集群模式执行相关命令。
      • 如果集群未开启Kerberos认证，则可以直接执行组件客户端相关命令。

        例如使用HDFS客户端命令查看HDFS根目录文件：

        hdfs dfs -ls /

      • 如果集群开启了Kerberos认证，执行kinit命令进行用户认证。

        例如：

        kinit admin

        Password for xxx@HADOOP.COM: #输入admin用户登录密码

        输入klist命令查询并确认权限内容。

        Ticket cache: FILE:/tmp/krb5cc_0 
        Default principal: xxx@HADOOP.COM   
        
        Valid starting       Expires              Service principal 
        ...

安装客户端（MRS 3.3.1及之后版本）

1. 获取软件包。

   登录FusionInsight Manager。

   在“主页”右上方单击“下载客户端”，弹出“下载集群客户端”信息提示框。

   图5 下载客户端
   
   

   如果只需要安装集群内某个服务的客户端，也可以选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。

   表4 客户端下载参数说明

   参数	描述	示例
   选择客户端类型	完整客户端：包含完整客户端软件包及配置文件，通常选择该选项。 仅配置文件：仅下载客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了组件服务端配置，开发人员需要更新客户端配置文件的场景。	完整客户端
   选择平台类型	客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。 LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。 x86_64：可以部署在X86平台的客户端软件包。 aarch64：可以部署在鲲鹏服务器的客户端软件包。	x86_64
   选择下载位置	选择客户端文件下载位置。 服务器端：下载到当前集群的主OMS节点上。 浏览器：下载到本地电脑。 远端节点：下载到主OMS节点外的其他节点上。 选择该位置还需参考表5进行配置。	服务器端
   保存到如下路径	指定客户端软件包的存放路径。如果下载位置选择“浏览器”则无需配置该参数。 如果下载位置选择“服务端”： 文件生成后默认保存在主OMS节点“/tmp/FusionInsight-Client/”路径。支持修改为其他目录且omm用户需要拥有目录的读、写与执行权限。如果路径中已存在客户端文件，会覆盖路径下已有的客户端文件。 等待文件生成后，可以使用omm用户或客户端安装用户将获取的下载包复制到其他目录，例如“/opt/Bigdata/hadoopclient”。 说明： 集群内安装的服务较多时，集群客户端文件较大，且在安装客户端过程中解压客户端文件也会占用较多磁盘空间。建议将客户端文件下载至其他磁盘空间充足的目录下，或者在安装客户端后及时删除客户端下载目录内的冗余文件，避免“/tmp”目录所在磁盘空间被占满影响集群节点的正常运行。 如果下载位置选择“远端节点”： 文件生成后默认保存在主OMS节点“/tmp/FusionInsight-Client-Remote/”路径，支持修改为其他目录。如果路径下存在客户端文件，会覆盖已有的客户端文件。登录远端节点用户需要对下载路径具有写权限。 选择下载到“远端节点”还需参考表5进行配置。	/tmp/FusionInsight-Client/

   表5 下载到远端节点配置参数

   参数名称	样例	参数说明
   主机IP	x.x.x.x	远端节点的IP地址。 说明： 远端节点的平台类型需要与所下载客户端的平台类型一致，否则可能导致安装客户端失败。
   主机端口	22	远端节点的主机端口。
   登录用户名称	xxx	登录远端节点的用户名称。 远端节点用户需要对下载路径具有写权限。
   登录方式	密码	登录方式： 密码：使用密码登录。 SSH私钥：使用SSH私钥登录。 免密：选择该方式，用户需要具有免密登录节点的功能。
   登录用户密码	xxx	“登录方式”选择“密码”时，需要配置该参数。 配置为登录用户的密码。
   SSH私钥	-	“登录方式”选择“SSH私钥”时，需要配置该参数。 单击“添加文件”选择SSH私钥文件并上传。
   自动部署到节点	是	是否自动部署到节点。客户端类型选择“完整客户端”时，支持配置该参数。 是，客户端会自动在当前节点上安装部署。 否，客户端不会自动安装部署。需要在客户端下载成功后手动进行安装。
   客户端部署路径	/opt/testclient	“自动部署到节点”选择“是”时，需要配置该参数。如果仅下载配置文件，则无该参数。 远端节点上部署路径若已存在，该路径下不能包含任何文件。若不存在，该路径会被创建。登录远端节点用户需要对该路径具有执行和写权限。

2. 复制客户端软件包到待安装客户端节点的指定目录。

   客户端软件包生成后默认保存在集群主OMS节点，若需要在集群内其他节点上安装客户端，需以omm用户登录主OMS节点，执行以下命令复制软件包到指定节点，否则跳过本步骤。

   例如复制到“/tmp/clienttemp”目录：

   scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp

3. 以待安装客户端的用户登录将要安装客户端的节点。
   

   在节点上安装客户端可以使用root用户、omm用户或其他任意操作系统用户进行操作，该用户对客户端文件存放目录和安装目录具有操作权限即可，两个目录的权限为“755”。

4. 解压客户端软件包。
   1. 进入客户端软件包所在的目录，例如“/tmp/clienttemp”。

      cd /tmp/clienttemp

   2. 执行如下命令解压安装包。

      tar -xvf FusionInsight_Cluster_1_Services_Client.tar

   3. 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致。

      sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256

      FusionInsight_Cluster_1_Services_ClientConfig.tar: OK     

   4. 执行以下命令继续解压安装包。

      tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

5. 检查客户端网络连接。
   1. 在待安装客户端节点的“/etc/hosts”文件中设置集群所有节点主机名和IP地址映射，可执行以下步骤在hosts文件中导入集群的域名映射关系。
      1. 切换至root用户或者其他具有修改hosts文件权限的用户。

         su - root

      2. 进入客户端解压目录。

         cd /tmp/clienttemp/FusionInsight_Cluster_1_Services_ClientConfig

      3. 执行以下命令将域名映射关系导入到hosts文件中。

         cat realm.ini >> /etc/hosts

   

   • 当客户端所在主机不是集群中的节点时，配置客户端网络连接，可避免执行客户端命令时出现错误。
   • 如果采用yarn-client模式运行Spark任务，请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”，并将参数值设置为客户端的IP地址。
   • 当采用yarn-client模式时，为了Spark WebUI能够正常显示，需要在Yarn的主备节点（即集群中的ResourceManager节点）的hosts文件中，配置客户端的IP地址及主机名对应关系。

6. 进入客户端软件包解压目录，执行如下命令安装客户端到指定目录。

   cd FusionInsight_Cluster_1_Services_ClientConfig

   ./install.sh 客户端安装目录

   例如执行：

   ./install.sh /opt/hadoopclient

   等待客户端安装完成。

   ...
   The component client is installed successfully

   

   • 客户端安装目录可以不存在，系统会自动创建，如果存在则必须为空。安装目录路径不能包含空格，且只能包含大写字母、小写字母、数字以及_字符。
   • 卸载客户端请删除客户端安装目录。
   • 如果要求安装后的客户端仅能被该安装用户（如“user_client”）使用，请在安装时加“-o”参数，即执行./install.sh /opt/hadoopclient -o命令安装客户端。
   • 如果需要安装客户端的服务器在集群内，则无需指NTP服务器模式，即执行./install.sh /opt/hadoopclient命令安装客户端。
   • 如果需要安装客户端的服务器在集群外，且本服务器上NTP服务器模式与集群内NTP服务器模式一致，即执行./install.sh /opt/hadoopclient命令安装客户端。
   • 如果需要安装客户端的服务器在集群外，且本地服务器上NTP服务器模式与集群内NTP服务器模式不一致，即执行./install.sh /opt/hadoopclient -o chrony或者./install.sh /opt/hadoopclient -o ntp命令安装客户端。命令中chrony或ntp与本服务器上的NTP服务器模式保持一致。
   • MRS 3.3.0-LTS及之后版本，如果安装客户端时，不校验时钟同步，即执行./install.sh /opt/hadoopclient -u命令安装客户端。
   • MRS 3.3.0-LTS及之后版本，如果安装客户端时，不校验时钟同步，且要求安装后的客户端仅能被该安装用户（如“user_client”）使用，请在安装时加“-ou”参数，即执行./install.sh /opt/hadoopclient -ou命令安装客户端。
   • 客户端节点为集群外部服务器且此节点无法与主OMS节点的业务平面IP互通时或者无法访问主节点的20029端口时，客户端可以正常安装成功，但无法注册到集群中，无法在界面上进行展示。

7. 检查客户端是否安装成功。
   1. 执行以下命令进入客户端安装目录并加载环境变量。

      cd /opt/hadoopclient

      source bigdata_env

   2. 根据集群模式执行相关命令。
      • 如果集群未开启Kerberos认证，则可以直接执行组件客户端相关命令。

        例如使用HDFS客户端命令查看HDFS根目录文件：

        hdfs dfs -ls /

      • 如果集群开启了Kerberos认证，执行kinit命令进行用户认证。

        例如：

        kinit admin

        Password for xxx@HADOOP.COM: #输入admin用户登录密码

        输入klist命令查询并确认权限内容。

        Ticket cache: FILE:/tmp/krb5cc_0 
        Default principal: xxx@HADOOP.COM   
        
        Valid starting       Expires              Service principal 
        ...

8. 如果集群重装后，之前安装的客户端将不再可用，需要重新部署客户端。
   1. 以root用户登录客户端所在节点。
   2. 使用以下命令查看客户端所在目录（下例中“/opt/hadoopclient”为客户端所在目录）。

      ll /opt

      drwxr-x---. 6 root root       4096 Dec 11 19:00 hadoopclient 
      drwxr-xr-x. 3 root root       4096 Dec  9 02:04 godi 
      drwx------. 2 root root      16384 Nov  6 01:03 lost+found 
      drwxr-xr-x. 2 root root       4096 Nov  7 09:49 rh 

   3. 使用mv命令移除所有客户端程序所在文件夹内的文件（例如移除“/opt/hadoopclient”文件夹）。

      mv /opt/hadoopclient /tmp/clientbackup

   4. 重新安装客户端。