更新时间:2022-12-14 GMT+08:00

集群外节点使用MRS客户端

操作场景

用户可以在MRS集群以外的节点上使用客户端,在使用客户端前需要安装客户端。

前提条件

  • 已准备一个Linux弹性云服务器,主机操作系统及版本建议参见表1
    表1 参考列表

    CPU架构

    操作系统

    支持的版本号

    x86计算

    Euler

    Euler OS 2.5

    SuSE

    SUSE Linux Enterprise Server 12 SP4(SUSE 12.4)

    RedHat

    RedHat-7.5-x86_64(RedHat 7.5)

    CentOS

    CentOS-7.6版本(CentOS 7.6)

    鲲鹏计算(ARM)

    Euler

    Euler OS 2.8

    CentOS

    CentOS-7.6版本(CentOS 7.6)

    同时为弹性云服务分配足够的磁盘空间,例如“40GB”

  • 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
  • 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
  • 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。

    若未安装,在配置了yum源的情况下,可执行yum install ntp -y命令自行安装。

  • 需要允许用户使用密码方式登录Linux弹性云服务器(SSH方式)。

操作步骤

  1. 根据前提条件,创建一个满足要求的弹性云服务器。
  2. 执行ntp时间同步,使集群外节点的时间与MRS集群时间同步。

    1. 执行vi /etc/ntp.conf命令编辑NTP客户端配置文件,并增加MRS集群中Master节点的IP并注释掉其他server的地址。
      server master1_ip profer
      server master2_ip 
      图1 增加Master节点的IP
    2. 执行service ntpd stop命令关闭NTP服务。
    3. 执行/usr/sbin/ntpdate 主Master节点的IP地址命令手动同步一次时间。
    4. 执行service ntpd startsystemctl restart ntpd命令启动NTP服务。
    5. 执行ntpstat命令查看时间同步结果。

  3. 参考以下步骤,从FusionInsight Manager下载集群客户端软件包并复制到ECS节点后安装客户端。

    1. 登录FusionInsight Manager,下载集群客户端到主管理节点的指定目录。
    2. 使用root用户登录主管理节点。

      sudo su - omm

    3. 执行以下命令复制客户端到待安装客户端的节点:

      scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp

    4. 使用待安装客户端的用户登录待安装客户端节点。

      执行以下命令安装客户端,如果无文件操作权限需使用root用户修改文件权限:

      cd /tmp

      tar -xvf FusionInsight_Cluster_1_Services_Client.tar

      tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

      cd /tmp/FusionInsight_Cluster_1_Services_ClientConfig

      ./install.sh /opt/mrsclient

    5. 执行以下命令,切换到客户端目录并配置环境变量:

      cd /opt/mrsclient

      source bigdata_env

    6. 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。

      kinit MRS集群用户

      例如,kinit admin

    7. 直接执行组件的客户端命令。

      例如使用HDFS客户端命令查看HDFS根目录文件,执行hdfs dfs -ls /