文档首页/ MapReduce服务 MRS/ 组件操作指南（普通版）(巴黎区域)/ 附录/ 使用MRS客户端/ 安装客户端（3.x及之后版本）
更新时间：2024-05-11 GMT+08:00
查看PDF
分享

安装客户端（3.x及之后版本）

操作场景

该操作指导安装工程师安装MRS集群所有服务（不包含Flume）的客户端。Flume客户端安装请参见安装Flume客户端。

客户端可以安装集群内节点，也可以安装在集群外节点，本章节以安装目录“/opt/client”为例进行介绍，请以实际集群版本为准。

集群内节点安装客户端

  1. 获取软件包。

    访问FusionInsight Manager（MRS 3.x及之后版本），在“集群”下拉列表中单击需要操作的集群名称。

    选择“更多 > 下载客户端”，弹出“下载集群客户端”信息提示框。

    在只安装单个服务的客户端的场景中，选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。

  2. “选择客户端类型”中选择“完整客户端”。

    “仅配置文件”下载的客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了服务端配置，开发人员需要更新客户端配置文件的场景。

    平台类型包括x86_64和aarch64两种：

    • x86_64：可以部署在X86平台的客户端软件包。
    • aarch64：可以部署在TaiShan服务器的客户端软件包。

    集群支持下载x86_64和aarch64两种类型客户端，但是客户端类型必须与待安装节点的架构匹配，否则客户端会安装失败。

  3. 勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件。

    文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。单击“确定”，等待下载完成后，使用omm用户或root用户将获取的软件包复制到将要安装客户端的服务器文件目录。

    客户端软件包名称格式为：“FusionInsight_Cluster_<集群ID>_Services_Client.tar”。本章节仅以集群ID为1进行介绍，请以实际集群ID为准。

    后续步骤及章节以FusionInsight_Cluster_1_Services_Client.tar进行举例。

    • 复制客户端安装包至当前节点的其他目录，例如复制到“opt/Bigdata/client”目录：

      cp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar /opt/Bigdata/client

    • 复制客户端安装包至集群内其他节点目录，例如复制到“opt/Bigdata/client”目录：

      scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/opt/Bigdata/client

    当用户无法获取root用户权限，需要用omm用户操作。

  4. 以客户端安装用户登录将要安装客户端的服务器。

    安装和使用客户端可以使用任意用户进行操作，用户名和密码请从系统管理员处获取。要求用户为服务器文件目录（如“/opt/Bigdata/client”）和客户端安装目录（如“/opt/client”）的“owner”，两个目录的权限为“755”。

  5. 解压软件包。

    进入安装包所在目录，例如“/opt/Bigdata/client”。执行如下命令解压安装包到本地目录。

    tar -xvf FusionInsight_Cluster_1_Services_Client.tar

  6. 校验软件包。

    执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致，例如：

    sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256

    FusionInsight_Cluster_1_Services_ClientConfig.tar: OK
  7. 解压获取的安装文件。

    tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

  8. 进入安装包所在目录，执行如下命令安装客户端到指定目录（绝对路径），例如安装到“/opt/client”目录。

    cd /opt/Bigdata/client/FusionInsight_Cluster_1_Services_ClientConfig

    执行./install.sh /opt/client命令，等待客户端安装完成（以下只显示部分屏显结果）。

    The component client is installed successfully
    • 如果已经安装的全部服务或某个服务的客户端使用了“/opt/client”目录，再安装其他服务的客户端时，需要使用不同的目录。安装目录可以不存在，会自动创建。但如果存在，则必须为空。目录路径不能包含空格。
    • 卸载客户端请删除客户端安装目录。
    • 如果要求安装后的客户端仅能被该安装用户使用，请在安装时加“-o”参数，即执行./install.sh /opt/client -o命令安装客户端。
    • 由于HBase使用的Ruby语法限制，如果安装的客户端中包含了HBase客户端，建议客户端安装目录路径只包含大写字母、小写字母、数字以及_-?.@+=字符。

使用客户端

  1. 在已安装客户端的节点，执行sudo su - omm命令切换用户。执行以下命令切换到客户端目录：

    cd /opt/client

  2. 执行以下命令配置环境变量：

    source bigdata_env

  3. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。

    kinit MRS集群用户

    例如，kinit admin。

    启用Kerberos认证的MRS集群默认创建“admin”用户帐号，用于集群管理员维护集群。

  4. 直接执行组件的客户端命令。

    例如：使用HDFS客户端命令查看HDFS根目录文件，执行hdfs dfs -ls /。

集群外节点安装客户端

  1. 创建一个满足要求的弹性云服务器，要求如下：
    • 已准备一个Linux弹性云服务器，主机操作系统及版本建议参见表1。
      表1 参考列表

      CPU架构

      操作系统

      支持的版本号

      x86计算

      Euler

      EulerOS 2.5

      SUSE

      SUSE Linux Enterprise Server 12 SP4（SUSE 12.4）

      Red Hat

      Red Hat-7.5-x86_64（Red Hat 7.5）

      CentOS

      CentOS-7.6版本（CentOS 7.6）

      鲲鹏计算(ARM)

      Euler

      EulerOS 2.8

      CentOS

      CentOS-7.6版本（CentOS 7.6）

      同时为弹性云服务分配足够的磁盘空间，例如“40GB”。

    • 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
    • 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
    • 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。

      若未安装，在配置了yum源的情况下，可执行yum install ntp -y命令自行安装。

    • 需要允许用户使用密码方式登录Linux弹性云服务器（SSH方式）。
    • MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组。
  2. 执行ntp时间同步，使集群外节点的时间与MRS集群时间同步。
    1. 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。 
      server master1_ip prefer
server master2_ip
      图1 增加Master节点的IP
    2. 执行service ntpd stop命令关闭NTP服务。
    3. 执行如下命令，手动同步一次时间：

      /usr/sbin/ntpdate 192.168.10.8

      192.168.10.8为主Master节点的IP地址。

    4. 执行service ntpd start或systemctl restart ntpd命令启动NTP服务。
    5. 执行ntpstat命令查看时间同步结果。
  3. 参考以下步骤，从FusionInsight Manager下载集群客户端软件包并复制到ECS节点后安装客户端。
    1. 访问FusionInsight Manager（MRS 3.x及之后版本），参考集群内节点安装客户端下载集群客户端到主管理节点的指定目录。
    2. 使用root用户登录主管理节点，执行以下命令复制客户端安装包到待安装客户端的节点：

      scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp

    3. 使用待安装客户端的用户登录待安装客户端节点。

      安装和使用客户端可以使用任意用户进行操作，用户名和密码请从系统管理员处获取。要求用户为服务器文件目录（如“/opt/Bigdata/client”）和客户端安装目录（如“/opt/client”）的“owner”，两个目录的权限为“755”。

      执行以下命令安装客户端，如果当前用户无客户端软件包以及客户端安装目录的操作权限，需使用root用户进行赋权：

      cd /tmp

      tar -xvf FusionInsight_Cluster_1_Services_Client.tar

      tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

      cd FusionInsight_Cluster_1_Services_ClientConfig

      ./install.sh /opt/client

      • 如果已经安装的全部服务或某个服务的客户端使用了“/opt/client”目录，再安装其他服务的客户端时，需要使用不同的目录。安装目录可以不存在，会自动创建。但如果存在，则必须为空。目录路径不能包含空格。
      • 卸载客户端请删除客户端安装目录。
      • 如果要求安装后的客户端仅能被该安装用户使用，请在安装时加“-o”参数，即执行./install.sh /opt/client -o命令安装客户端。
      • 由于HBase使用的Ruby语法限制，如果安装的客户端中包含了HBase客户端，建议客户端安装目录路径只包含大写字母、小写字母、数字以及_-?.@+=字符。
    4. 执行以下命令，切换到客户端目录并配置环境变量：

      cd /opt/client

      source bigdata_env

    5. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。

      kinit MRS集群用户

      例如，kinit admin。

    6. 直接执行组件的客户端命令。

      例如使用HDFS客户端命令查看HDFS根目录文件，执行hdfs dfs -ls /。

父主题： 使用MRS客户端