文档首页/ MapReduce服务 MRS/ 用户指南/ 安装MRS集群客户端/ 安装客户端(2.x及之前版本)
更新时间:2024-11-12 GMT+08:00

安装客户端(2.x及之前版本)

MRS集群创建成功后,用户可自行安装集群客户端,用于连接集群内组件服务端,进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。

集群内组件的服务端配置修改后,也建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响部分功能的正常使用。

本章节指导用户安装MRS 2.x及之前版本的集群客户端,MRS 3.x版本请参考安装客户端(3.x版本)

MRS 3.x之前版本集群在集群创建后,在主Master节点默认安装有客户端,安装目录为“/opt/client”。

在集群内节点安装客户端

  1. 参考访问MRS集群Manager登录集群Manager,选择“服务管理 > 下载客户端”下载客户端安装包至主OMS节点。
  2. 在MRS管理控制台,查看指定集群“节点管理”页面的“IP”地址。

    记录待安装客户端的节点IP地址及主Master节点IP地址(主OMS节点)。

  3. root用户登录主OMS节点,执行以下命令切换至omm用户。

    sudo su - omm

  4. 执行以下命令,将客户端安装包复制到指定节点。

    scp -p /tmp/MRS-client/MRS_Services_Client.tar 待安装客户端节点的IP地址:/opt/client_tmp

  5. root用户登录待安装客户端节点。
  6. 执行以下命令,安装客户端:

    cd /opt/client_tmp

    tar -xvf MRS_Services_Client.tar

    tar -xvf MRS_Services_ClientConfig.tar

    cd MRS_Services_ClientConfig

    ./install.sh 客户端安装目录

    例如执行:

    ./install.sh /opt/hadoopclient

    等待客户端安装成功。

    • 客户端安装目录可以不存在,系统会自动创建,如果存在则必须为空。安装目录路径不能包含空格,且只能包含大写字母、小写字母、数字以及_字符
    • 卸载客户端请手动删除客户端安装目录。

  7. 检查客户端是否安装成功。

    1. 执行以下命令进入客户端安装目录并加载环境变量。

      cd /opt/hadoopclient

      source bigdata_env

    2. 根据集群模式执行相关命令。
      • 如果集群未开启Kerberos认证,则可以直接执行组件客户端相关命令。

        例如使用HDFS客户端命令查看HDFS根目录文件:

        hdfs dfs -ls /

      • 如果集群开启了Kerberos认证,执行kinit命令进行用户认证。

        例如:

        kinit admin

        Password for xxx@HADOOP.COM: #输入admin用户登录密码
        输入klist命令查询并确认权限内容。
        Ticket cache: FILE:/tmp/krb5cc_0 
        Default principal: xxx@HADOOP.COM   
        
        Valid starting       Expires              Service principal 
        ...

在集群外节点上安装客户端

  1. 准备一个用于安装MRS集群客户端的Linux弹性云服务器。

    • 云服务器操作系统及版本建议如下:
      表1 操作系统参考列表

      CPU架构

      操作系统

      支持的版本号

      x86计算

      Euler

      • 可用:Euler OS 2.2
      • 可用:Euler OS 2.3
      • 可用:Euler OS 2.5

      鲲鹏计算(ARM)

      Euler

      可用:Euler OS 2.8

    • 弹性云服务器的CPU架构需和MRS集群节点保持一致。
    • 弹性云服务器客户端安装目录需要分配足够的磁盘空间,至少40GB。
    • 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。
    • MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则
    • 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。

      若未安装,在配置了yum源的情况下,可执行yum install ntp -y命令进行安装。

    • 弹性云服务器需要允许用户使用密码方式登录(SSH方式)。

  2. 参考访问MRS集群Manager登录集群Manager,然后选择“服务管理 > 下载客户端”。

    • “客户端类型”选择“完整客户端”
    • “下载路径”选择“远端主机”
    • “主机IP”设置为待安装客户端节点的IP地址,设置“主机端口”“22”,并将“存放路径”设置为“/tmp”

      如果节点的SSH登录默认端口被修改,请将“主机端口”设置为新端口。

    • “登录用户”设置为“root”

      如果使用其他用户,请确保该用户对保存目录拥有读取、写入和执行权限。

    • “登录方式”选择“密码”“SSH私钥”
      • 密码:输入创建集群时设置的root用户密码。
      • SSH私钥:选择并上传创建集群时使用的密钥文件。

  3. 单击“确定”开始生成客户端文件。

    等待界面提示文件下载成功,到待安装客户端节点的指定路径中获取客户端软件包。

    如果客户端下载失败,请检查用户名密码及远端主机的安全组配置,确保用户名密码正确,及远端主机的安全组已增加SSH端口的入方向规则,然后重新下载客户端。

    生成客户端会占用大量的磁盘IO,不建议在集群处于安装中、启动中、打补丁中等非稳态场景下载客户端。

  4. 配置待安装客户端节点的NTP时间同步,使节点时间与MRS集群时间同步。

    1. 登录MRS服务管理控制台,在集群列表单击MRS集群名称,进入MRS集群详情页面。
    2. 单击“节点管理”,展开Master节点组列表,查看集群Master1、Master2节点的IP地址信息。
    3. 使用root用户登录待安装客户端的节点,执行以下命令编辑NTP配置文件,增加MRS集群中Master1、Master2节点的IP地址并注释掉其余server地址。
      vi /etc/ntp.conf
      server master1_ip prefer
      server master2_ip 
      图1 NTP配置文件修改示例
    4. 保存配置文件后,执行以下命令关闭NTP服务。

      service ntpd stop

    5. 执行如下命令,手动同步一次时间。

      /usr/sbin/ntpdate 主Master节点的IP地址

    6. 执行以下命令启动NTP服务。

      service ntpd start

      或者:

      systemctl restart ntpd

    7. 执行ntpstat命令查看时间同步结果。
      synchronised to NTP server (xxx) at stratum 2
         time correct to within 12 ms
         polling server every 16 s

  5. 将下载的客户端软件包复制到“/opt”目录下。

    cp /tmp/MRS_Services_Client.tar /opt

  6. 执行以下命令解压软件包。

    cd /opt

    tar -xvf MRS_Services_Client.tar

  7. 执行以下命令校验文件。

    sha256sum -c MRS_Services_ClientConfig.tar.sha256

    界面显示如下:

    MRS_Services_ClientConfig.tar: OK

  8. 执行以下命令继续解压软件包。

    tar -xvf MRS_Services_ClientConfig.tar

  9. 执行以下命令安装集群客户端。

    sh /opt/MRS_Services_ClientConfig/install.sh 客户端安装目录

    例如执行:

    sh /opt/MRS_Services_ClientConfig/install.sh /opt/hadoopclient

    查看安装输出信息,如有以下结果表示客户端安装成功:

    Components client installation is complete.
    • 客户端安装目录可以不存在,系统会自动创建,如果存在则必须为空。安装目录路径不能包含空格,且只能包含大写字母、小写字母、数字以及_字符
    • 卸载客户端请手动删除客户端安装目录。

  10. 检查客户端是否安装成功。

    1. 执行以下命令进入客户端安装目录并加载环境变量。

      cd /opt/hadoopclient

      source bigdata_env

    2. 根据集群模式执行相关命令。
      • 如果集群未开启Kerberos认证,则可以直接执行组件客户端相关命令。

        例如使用HDFS客户端命令查看HDFS根目录文件:

        hdfs dfs -ls /

      • 如果集群开启了Kerberos认证,执行kinit命令进行用户认证。

        例如:

        kinit admin

        Password for xxx@HADOOP.COM: #输入admin用户登录密码
        输入klist命令查询并确认权限内容。
        Ticket cache: FILE:/tmp/krb5cc_0 
        Default principal: xxx@HADOOP.COM   
        
        Valid starting       Expires              Service principal 
        ...