文档首页/ MapReduce服务 MRS/ 用户指南（安卡拉区域）/ 使用MRS客户端/ 安装客户端
更新时间：2024-11-29 GMT+08:00
查看PDF
分享

安装客户端

操作场景

该操作指导用户在MRS集群创建成功后安装MRS集群所有服务（不包含Flume）的客户端。Flume客户端安装请参见“组件操作指南 > 使用Flume > 安装Flume客户端”。

客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。

修改集群内组件的服务端配置后，建议重新安装客户端，否则客户端与服务端版本将不一致，可能影响正常使用。

前提条件

  • 待安装客户端节点为集群外节点时，该节点必须能够与集群内节点网络互通，否则安装会失败。
  • 待安装客户端节点必须启用NTP服务，并保持与服务端的时间一致，否则安装会失败。
  • 在节点上安装客户端可以使用root或任意操作系统用户进行操作，要求该用户对客户端文件存放目录和安装目录具有操作权限，两个目录的权限为“755”。

    本章节以使用操作系统用户“user_client”安装客户端进行举例，安装目录为“/opt/hadoopclient”。

  • 使用omm和root以外的用户安装客户端时，若“/var/tmp/patch”目录已存在，需将此目录权限修改为“777”，将此目录内的日志权限修改为“666”。

集群内节点安装客户端

  1. 获取客户端软件包。

    参考访问FusionInsight Manager访问Manager，单击“集群”在“概览”选择“更多 > 下载客户端”，弹出“下载集群客户端”提示框，选择相关下载参数后单击“确定”。
    • 在Manager主页下载的客户端软件包，包含了集群内所有服务（除Flume之外）的客户端。如果只需要安装单个服务的客户端，请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。
    • MRS 3.3.0及之后版本，可以在主页中直接单击“下载客户端”。
    表1 客户端下载参数说明

    参数

    描述

    示例

    选择客户端类型
    • 完整客户端：包含完整客户端软件包及配置文件，适用于非开发任务场景。
    • 仅配置文件：仅下载客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了服务端配置，开发人员需要更新客户端配置文件的场景。

    完整客户端

    选择平台类型

    客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。

    • x86_64：可以部署在X86平台的客户端软件包。
    • aarch64：可以部署在TaiShan服务器的客户端软件包。

    x86_64

    仅保存到如下路径

    指定客户端软件包在主OMS节点的存放路径。

    • 勾选“仅保存到如下路径”：自定义客户端软件包在主OMS节点的存放路径，omm用户需拥有该目录的读、写与执行权限。

      如未修改保存路径，文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。

    • 不勾选“仅保存到如下路径”：文件生成后将自动下载并保存至本地，安装客户端时需将其上传至待安装客户端节点的指定目录。

    勾选“仅保存到如下路径”

  2. 复制客户端软件包到待安装客户端节点的指定目录。

    客户端软件包生成后默认保存在集群主OMS节点，若需要在集群内其他节点上安装客户端，需以omm用户登录主OMS节点，执行以下命令复制软件包到指定节点，否则跳过本步骤。

    例如复制到“/tmp/clienttemp”目录：

    scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp

  3. 以待安装客户端的用户（如user_client）登录将要安装客户端的节点。

    在节点上安装客户端可以使用root或其他任意操作系统用户进行操作，要求该用户对客户端文件存放目录和安装目录具有操作权限，两个目录的权限为“755”。

  4. 解压客户端软件包。

    进入客户端软件包所在的目录，例如“/tmp/clienttemp”。

    cd /tmp/clienttemp

    执行如下命令解压安装包获取“FusionInsight_Cluster_1_Services_ClientConfig.tar”：

    tar -xvf FusionInsight_Cluster_1_Services_Client.tar

    执行以下命令解压“FusionInsight_Cluster_1_Services_ClientConfig.tar”：

    tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

  5. 进入客户端软件包目录，执行如下命令安装客户端到指定目录。

    cd FusionInsight_Cluster_1_Services_ClientConfig

    ./install.sh 客户端安装目录

    例如执行./install.sh /opt/hadoopclient命令安装客户端，等待客户端安装完成。

    ...
The component client is installed successfully
    • 客户端安装目录可以不存在，会自动创建。但如果存在，则必须为空，目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。
    • 卸载客户端请手动删除客户端安装目录。
    • 如果要求安装后的客户端仅能被该安装用户使用，请在安装时加“-o”参数，例如执行./install.sh /opt/hadoopclient -o命令安装客户端。

  6. 客户端安装完成后，可参考“各组件客户端使用实践”使用客户端。

集群外节点安装客户端

  1. 创建一个满足要求的弹性云服务器，要求如下：

    • 已准备一个Linux弹性云服务器，主机操作系统及版本建议参见表2。
      表2 参考列表

      CPU架构

      操作系统

      支持的版本号

      x86计算

      Euler

      EulerOS 2.5

      SUSE

      SUSE Linux Enterprise Server 12 SP4（SUSE 12.4）

      Red Hat

      Red Hat-7.5-x86_64（Red Hat 7.5）

      CentOS

      CentOS-7.6版本（CentOS 7.6）

      鲲鹏计算(ARM)

      Euler

      EulerOS 2.8

      CentOS

      CentOS-7.6版本（CentOS 7.6）

      同时为弹性云服务分配足够的磁盘空间，例如“40GB”。

    • 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
    • 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
    • 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。

      若未安装，在配置了yum源的情况下，可执行yum install ntp -y命令自行安装。

    • 需要允许用户使用密码方式登录Linux弹性云服务器（SSH方式）。
    • MRS集群安全组入方向将所有端口对客户端节点放开。

  2. 执行NTP时间同步，使集群外节点的时间与MRS集群时间同步。

    1. 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件，并增加MRS集群中Master节点的IP并注释掉其他server的地址。 
      server master1_ip prefer
server master2_ip
      图1 增加Master节点的IP
    2. 执行service ntpd stop命令关闭NTP服务。
    3. 执行如下命令，手动同步一次时间：

      /usr/sbin/ntpdate 192.168.10.8

      192.168.10.8为主Master节点的IP地址。

    4. 执行service ntpd start或systemctl restart ntpd命令启动NTP服务。
    5. 执行ntpstat命令查看时间同步结果。

  3. 获取客户端软件包。

    参考访问FusionInsight Manager访问Manager，单击“集群”在“概览”选择“更多 > 下载客户端”，弹出“下载集群客户端”提示框，选择相关下载参数后单击“确定”。
    • 在Manager主页下载的客户端软件包，包含了集群内所有服务（除Flume之外）的客户端。如果只需要安装单个服务的客户端，请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。
    • MRS 3.3.0及之后版本，可以在主页中直接单击“下载客户端”。
    表3 客户端下载参数说明

    参数

    描述

    示例

    选择客户端类型
    • 完整客户端：包含完整客户端软件包及配置文件，适用于非开发任务场景。
    • 仅配置文件：仅下载客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了服务端配置，开发人员需要更新客户端配置文件的场景。

    完整客户端

    选择平台类型

    客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。

    • x86_64：可以部署在X86平台的客户端软件包。
    • aarch64：可以部署在TaiShan服务器的客户端软件包。

    x86_64

    仅保存到如下路径

    指定客户端软件包在主OMS节点的存放路径。

    • 勾选“仅保存到如下路径”：自定义客户端软件包在主OMS节点的存放路径，omm用户需拥有该目录的读、写与执行权限。

      如未修改保存路径，文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。

    • 不勾选“仅保存到如下路径”：文件生成后将自动下载并保存至本地，安装客户端时需将其上传至待安装客户端节点的指定目录。

    勾选“仅保存到如下路径”

  4. 复制客户端软件包到待安装客户端节点的指定目录。

    客户端软件包生成后默认保存在集群主OMS节点，需以omm用户登录主OMS节点，执行以下命令复制软件包到指定弹性云服务器节点。

    例如复制到“/tmp/clienttemp”目录：

    scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp

  5. 以待安装客户端的用户（如user_client）登录将要安装客户端的节点。

    在节点上安装客户端可以使用root或其他任意操作系统用户进行操作，要求该用户对客户端文件存放目录和安装目录具有操作权限，两个目录的权限为“755”。

  6. 解压客户端软件包。

    进入客户端软件包所在的目录，例如“/tmp/clienttemp”。

    cd /tmp/clienttemp

    执行如下命令解压安装包获取“FusionInsight_Cluster_1_Services_ClientConfig.tar”：

    tar -xvf FusionInsight_Cluster_1_Services_Client.tar

    执行以下命令解压“FusionInsight_Cluster_1_Services_ClientConfig.tar”：

    tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

  7. 检查客户端网络连接。

    1. 确保客户端所在主机能与解压目录下“hosts”文件（例如“/tmp/FusionInsight_Cluster_1_Services_ClientConfig/hosts”）中所列出的各主机在网络上互通。
    2. 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的“/etc/hosts”文件（更改此文件需要root用户权限）中设置集群所有节点主机名和业务平面IP地址映射，主机名和IP地址请保持一一对应，可执行以下步骤在hosts文件中导入集群的域名映射关系。
      1. 切换至root用户或者其他具有修改hosts文件权限的用户。

        su - root

      2. 进入客户端解压目录。

        cd /tmp/clienttemp/FusionInsight_Cluster_1_Services_ClientConfig

      3. 执行cat realm.ini >> /etc/hosts，将域名映射关系导入到hosts文件中。
    • 当客户端所在主机不是集群中的节点时，配置客户端网络连接，可避免执行客户端命令时出现错误。
    • 如果采用yarn-client模式运行Spark任务，请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”，并将参数值设置为客户端的IP地址。
    • 当采用yarn-client模式时，为了Spark WebUI能够正常显示，需要在Yarn的主备节点（即集群中的ResourceManager节点）的hosts文件中，配置客户端的IP地址及主机名对应关系。

  8. 以待安装客户端的用户（user_client）登录将要安装客户端的节点，进入客户端软件包目录，执行如下命令安装客户端到指定目录。

    cd /tmp/clienttemp/FusionInsight_Cluster_1_Services_ClientConfig

    ./install.sh 客户端安装目录

    例如执行./install.sh /opt/hadoopclient命令安装客户端，等待客户端安装完成。

    ...
The component client is installed successfully
    • 客户端安装目录可以不存在，会自动创建。但如果存在，则必须为空，目录路径不能包含空格。且客户端安装目录路径只能包含大写字母、小写字母、数字以及_字符。
    • 卸载客户端请手动删除客户端安装目录。
    • 如果要求安装后的客户端仅能被该安装用户使用，请在安装时加“-o”参数，例如执行./install.sh /opt/hadoopclient -o命令安装客户端。

  9. 客户端安装完成后，可参考“各组件客户端使用实践”使用客户端。
父主题： 使用MRS客户端