更新时间:2024-05-28 GMT+08:00

安装客户端(3.x及之后版本)

操作场景

该操作指导用户在MRS集群创建成功后安装MRS集群所有服务(不包含Flume)的客户端。Flume客户端安装请参见安装Flume客户端

客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。

修改集群内组件的服务端配置后,建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响正常使用。

操作视频

本视频将以MRS 3.1.0版本集群为例为您介绍手动安装及使用客户端的操作方法。

因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。

前提条件

  • 待安装客户端节点为集群外节点时,该节点必须能够与集群内节点网络互通,否则安装会失败。
  • 待安装客户端节点必须启用NTP服务,并保持与服务端的时间一致,否则安装会失败。
  • 在节点上安装客户端可以使用root或任意操作系统用户进行操作,要求该用户对客户端文件存放目录和安装目录具有操作权限,两个目录的权限为“755”。

    本章节以使用操作系统用户“user_client”安装客户端进行举例,安装目录为“/opt/hadoopclient”。

  • 使用ommroot以外的用户安装客户端时,若“/var/tmp/patch”目录已存在,需将此目录权限修改为“777”,将此目录内的日志权限修改为“666”。

集群内节点安装客户端

  1. 获取客户端软件包。

    参考访问FusionInsight Manager(MRS 3.x及之后版本)访问Manager,单击“集群”在“概览”选择“更多 > 下载客户端”,弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”。
    图1 下载客户端
    • 在Manager主页下载的客户端软件包,包含了集群内所有服务(除Flume之外)的客户端。如果只需要安装单个服务的客户端,请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”,弹出“下载客户端”信息提示框。
    • MRS 3.3.0及之后版本,可以在主页中直接单击“下载客户端”。
    表1 客户端下载参数说明

    参数

    描述

    示例

    选择客户端类型

    • 完整客户端:包含完整客户端软件包及配置文件,适用于非开发任务场景。
    • 仅配置文件:仅下载客户端配置文件,适用于应用开发任务中,完整客户端已下载并安装后,管理员通过Manager界面修改了服务端配置,开发人员需要更新客户端配置文件的场景。

    完整客户端

    选择平台类型

    客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。

    • x86_64:可以部署在X86平台的客户端软件包。
    • aarch64:可以部署在TaiShan服务器的客户端软件包。

    x86_64

    仅保存到如下路径

    指定客户端软件包在主OMS节点的存放路径。

    • 勾选“仅保存到如下路径”:自定义客户端软件包在主OMS节点的存放路径,omm用户需拥有该目录的读、写与执行权限。

      如未修改保存路径,文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。

    • 不勾选“仅保存到如下路径”:文件生成后将自动下载并保存至本地,安装客户端时需将其上传至待安装客户端节点的指定目录。

    勾选“仅保存到如下路径”

  2. 复制客户端软件包到待安装客户端节点的指定目录。

    客户端软件包生成后默认保存在集群主OMS节点,若需要在集群内其他节点上安装客户端,需以omm用户登录主OMS节点,执行以下命令复制软件包到指定节点,否则跳过本步骤。

    例如复制到“/tmp/clienttemp”目录:

    scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp

  3. 以待安装客户端的用户(如user_client)登录将要安装客户端的节点。

    在节点上安装客户端可以使用root或其他任意操作系统用户进行操作,要求该用户对客户端文件存放目录和安装目录具有操作权限,两个目录的权限为“755”。

  4. 解压客户端软件包。

    1. 进入客户端软件包所在的目录,例如“/tmp/clienttemp”。

      cd /tmp/clienttemp

    2. 执行如下命令解压安装包获取“FusionInsight_Cluster_1_Services_ClientConfig.tar”:

      tar -xvf FusionInsight_Cluster_1_Services_Client.tar

    3. 执行sha256sum命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如:

      sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256

      FusionInsight_Cluster_1_Services_ClientConfig.tar: OK     
    4. 执行以下命令解压“FusionInsight_Cluster_1_Services_ClientConfig.tar”:

      tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

  5. 进入客户端软件包目录,执行如下命令安装客户端到指定目录。

    cd FusionInsight_Cluster_1_Services_ClientConfig

    ./install.sh 客户端安装目录

    例如执行./install.sh /opt/hadoopclient命令安装客户端,等待客户端安装完成。

    ...
    The component client is installed successfully
    • 客户端安装目录可以不存在,会自动创建。但如果存在,则必须为空,目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符
    • 卸载客户端请手动删除客户端安装目录。
    • 如果要求安装后的客户端仅能被该安装用户使用,请在安装时加“-o”参数,例如执行./install.sh /opt/hadoopclient -o命令安装客户端。

  6. 客户端安装完成后,可参考“各组件客户端使用实践”使用客户端。

集群外节点安装客户端

  1. 创建一个满足要求的弹性云服务器,要求如下:

    • 已准备一个Linux弹性云服务器,主机操作系统及版本建议参见表2
      表2 参考列表

      CPU架构

      操作系统

      支持的版本号

      x86计算

      Euler

      EulerOS 2.5

      SUSE

      SUSE Linux Enterprise Server 12 SP4(SUSE 12.4)

      Red Hat

      Red Hat-7.5-x86_64(Red Hat 7.5)

      CentOS

      CentOS-7.6版本(CentOS 7.6)

      鲲鹏计算(ARM)

      Euler

      EulerOS 2.8

      CentOS

      CentOS-7.6版本(CentOS 7.6)

      同时为弹性云服务分配足够的磁盘空间,例如“40GB”

    • 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
    • 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
    • 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。

      若未安装,在配置了yum源的情况下,可执行yum install ntp -y命令自行安装。

    • 需要允许用户使用密码方式登录Linux弹性云服务器(SSH方式)。
    • MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则

  2. 执行NTP时间同步,使集群外节点的时间与MRS集群时间同步。

    1. 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件,并增加MRS集群中Master节点的IP并注释掉其他server的地址。
      server master1_ip prefer
      server master2_ip 
      图2 增加Master节点的IP
    2. 执行service ntpd stop命令关闭NTP服务。
    3. 执行如下命令,手动同步一次时间:

      /usr/sbin/ntpdate 192.168.10.8

      192.168.10.8为主Master节点的IP地址。

    4. 执行service ntpd startsystemctl restart ntpd命令启动NTP服务。
    5. 执行ntpstat命令查看时间同步结果。

  3. 获取客户端软件包。

    参考访问FusionInsight Manager(MRS 3.x及之后版本)访问Manager,单击“集群”在“概览”选择“更多 > 下载客户端”,弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”。
    图3 下载客户端
    • 在Manager主页下载的客户端软件包,包含了集群内所有服务(除Flume之外)的客户端。如果只需要安装单个服务的客户端,请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”,弹出“下载客户端”信息提示框。
    • MRS 3.3.0及之后版本,可以在主页中直接单击“下载客户端”。
    表3 客户端下载参数说明

    参数

    描述

    示例

    选择客户端类型

    • 完整客户端:包含完整客户端软件包及配置文件,适用于非开发任务场景。
    • 仅配置文件:仅下载客户端配置文件,适用于应用开发任务中,完整客户端已下载并安装后,管理员通过Manager界面修改了服务端配置,开发人员需要更新客户端配置文件的场景。

    完整客户端

    选择平台类型

    客户端类型必须与待安装客户端的节点架构匹配,否则客户端会安装失败。LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。

    • x86_64:可以部署在X86平台的客户端软件包。
    • aarch64:可以部署在TaiShan服务器的客户端软件包。

    x86_64

    仅保存到如下路径

    指定客户端软件包在主OMS节点的存放路径。

    • 勾选“仅保存到如下路径”:自定义客户端软件包在主OMS节点的存放路径,omm用户需拥有该目录的读、写与执行权限。

      如未修改保存路径,文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。

    • 不勾选“仅保存到如下路径”:文件生成后将自动下载并保存至本地,安装客户端时需将其上传至待安装客户端节点的指定目录。

    勾选“仅保存到如下路径”

  4. 复制客户端软件包到待安装客户端节点的指定目录。

    客户端软件包生成后默认保存在集群主OMS节点,需以omm用户登录主OMS节点,执行以下命令复制软件包到指定弹性云服务器节点。

    例如复制到“/tmp/clienttemp”目录:

    scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp

  5. 以待安装客户端的用户(如user_client)登录将要安装客户端的节点。

    在节点上安装客户端可以使用root或其他任意操作系统用户进行操作,要求该用户对客户端文件存放目录和安装目录具有操作权限,两个目录的权限为“755”。

  6. 解压客户端软件包。

    1. 进入客户端软件包所在的目录,例如“/tmp/clienttemp”。

      cd /tmp/clienttemp

    2. 执行如下命令解压安装包获取“FusionInsight_Cluster_1_Services_ClientConfig.tar”:

      tar -xvf FusionInsight_Cluster_1_Services_Client.tar

    3. 执行sha256sum命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如:

      sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256

      FusionInsight_Cluster_1_Services_ClientConfig.tar: OK     
    4. 执行以下命令解压“FusionInsight_Cluster_1_Services_ClientConfig.tar”:

      tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

  7. 检查客户端网络连接。

    1. 确保客户端所在主机能与解压目录下“hosts”文件(例如“/tmp/FusionInsight_Cluster_1_Services_ClientConfig/hosts”)中所列出的各主机在网络上互通。
    2. 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的“/etc/hosts”文件(更改此文件需要root用户权限)中设置集群所有节点主机名和业务平面IP地址映射,主机名和IP地址请保持一一对应,可执行以下步骤在hosts文件中导入集群的域名映射关系。
      1. 切换至root用户或者其他具有修改hosts文件权限的用户。

        su - root

      2. 进入客户端解压目录。

        cd /tmp/clienttemp/FusionInsight_Cluster_1_Services_ClientConfig

      3. 执行cat realm.ini >> /etc/hosts,将域名映射关系导入到hosts文件中。
    • 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。
    • 如果采用yarn-client模式运行Spark任务,请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”,并将参数值设置为客户端的IP地址。
    • 当采用yarn-client模式时,为了Spark WebUI能够正常显示,需要在Yarn的主备节点(即集群中的ResourceManager节点)的hosts文件中,配置客户端的IP地址及主机名对应关系。

  8. 以待安装客户端的用户(user_client)登录将要安装客户端的节点,进入客户端软件包目录,执行如下命令安装客户端到指定目录。

    cd /tmp/clienttemp/FusionInsight_Cluster_1_Services_ClientConfig

    ./install.sh 客户端安装目录

    例如执行./install.sh /opt/hadoopclient命令安装客户端,等待客户端安装完成。

    ...
    The component client is installed successfully
    • 客户端安装目录可以不存在,会自动创建。但如果存在,则必须为空,目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符
    • 卸载客户端请手动删除客户端安装目录。
    • 如果要求安装后的客户端仅能被该安装用户使用,请在安装时加“-o”参数,例如执行./install.sh /opt/hadoopclient -o命令安装客户端。

  9. 客户端安装完成后,可参考“各组件客户端使用实践”使用客户端。