更新时间:2024-09-30 GMT+08:00

安装客户端(3.x及之后版本)

操作场景

该操作指导安装工程师安装MRS集群所有服务(不包含Flume)的客户端。Flume客户端安装请参见安装Flume客户端

客户端可以安装集群内节点,也可以安装在集群外节点,本章节以安装目录“/opt/hadoopclient”为例进行介绍,请以实际集群版本为准。

前提条件

  • 安装目录可以不存在,会自动创建。但如果存在,则必须为空。目录路径不能包含空格。
  • 客户端节点为集群外部服务器时,必须能够与集群业务平面网络互通,否则安装会失败。

安装客户端

  1. 获取软件包。

    访问FusionInsight Manager(MRS 3.x及之后版本),在“集群”下拉列表中单击需要操作的集群名称。

    选择更多 > 下载客户端,弹出“下载集群客户端”信息提示框。
    图1 下载客户端

    在只安装单个服务的客户端的场景中,选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”,弹出“下载客户端”信息提示框。

  2. “选择客户端类型”中选择“完整客户端”。

    “仅配置文件”下载的客户端配置文件,适用于应用开发任务中,完整客户端已下载并安装后,MRS集群管理员通过Manager界面修改了服务端配置,开发人员需要更新客户端配置文件的场景。

    平台类型包括x86_64和aarch64两种:

    • x86_64:可以部署在X86平台的客户端软件包。
    • aarch64:可以部署在TaiShan服务器的客户端软件包。

    集群支持下载x86_64和aarch64两种类型客户端,但是客户端类型必须待安装节点的架构匹配,否则客户端会安装失败。

  3. 是否在集群的节点中生成客户端文件?
    • 是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。单击“确定”,等待下载完成后,使用omm用户或root用户将获取的软件包复制到将要安装客户端的服务器文件目录,例如“/opt/Bigdata/client”。然后执行5

      当用户无法获取root用户权限,需要用omm用户操作。

    • 否,单击“确定”指定本地的保存位置,开始下载完整客户端,等待下载完成,执行4
  4. 上传软件包。

    使用WinSCP工具,以准备安装客户端的用户(如“user_client”),将获取的软件包上传到将要安装客户端的服务器文件目录,例如“/opt/Bigdata/client”。

    客户端软件包名称格式为:“FusionInsight_Cluster_<集群ID>_Services_Client.tar”。

    后续步骤及章节以FusionInsight_Cluster_1_Services_Client.tar进行举例。

    客户端所在主机可以是集群内节点,也可以是集群外节点。当该节点为集群外部服务器时,必须能够与集群网络互通,并启用NTP服务以保持与服务端时间一致。

    例如可以为外部服务器配置与集群一样的NTP时钟源,配置之后可以执行ntpq -np命令检查时间是否同步。
    • 如果显示结果的NTP时钟源IP地址前有“*”号,表示同步正常,如下:
      remote refid st t when poll reach delay offset jitter 
      ============================================================================== 
      *10.10.10.162 .LOCL. 1 u 1 16 377 0.270 -1.562 0.014
    • 如果显示结果的NTP时钟源IP前无“*”号,且“refid”项内容为“.INIT.”,或者回显异常,表示同步不正常,请联系技术支持。
      remote refid st t when poll reach delay offset jitter 
      ============================================================================== 
      10.10.10.162 .INIT. 1 u 1 16 377 0.270 -1.562 0.014

    也可以为外部服务器配置与集群一样的chrony时钟源,配置之后可以执行chronyc sources命令检查时间是否同步。

    • 如果显示结果的主OMS节点chrony服务IP地址前有“*”号,表示同步正常,如下:
      MS Name/IP address         Stratum Poll Reach LastRx Last sample               
      ===============================================================================
      ^* 10.10.10.162             10  10   377   626    +16us[  +15us] +/-  308us
    • 如果显示结果的主OMS节点NTP服务IP前无“*”号,且“Reach”项内容为“0”,表示同步不正常。
      MS Name/IP address         Stratum Poll Reach LastRx Last sample               
      ===============================================================================
      ^? 10.1.1.1                      0  10     0     -     +0ns[   +0ns] +/-    0ns
  5. user_client用户登录将要安装客户端的服务器。
  6. 解压软件包。

    进入安装包所在目录,例如“/opt/Bigdata/client”。执行如下命令解压安装包到本地目录。

    tar -xvf FusionInsight_Cluster_1_Services_Client.tar

  7. 校验软件包。

    执行sha256sum命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如:

    sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256

    FusionInsight_Cluster_1_Services_Client.tar: OK     
  8. 解压获取的安装文件。

    tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar

  9. 配置客户端网络连接。
    1. 确保客户端所在主机能与解压目录下“hosts”文件(例如“/opt/Bigdata/client/FusionInsight_Cluster_<集群ID>_Services_ClientConfig/hosts”)中所列出的各主机在网络上互通。
    2. 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的“/etc/hosts”文件(更改此文件需要root用户权限)中设置集群所有节点主机名和业务平面IP地址映射,主机名和IP地址请保持一一对应,可执行以下步骤在hosts文件中导入集群的域名映射关系。
      1. 切换至root用户或者其他具有修改hosts文件权限的用户。

        su - root

      2. 进入客户端解压目录。

        cd /opt/Bigdata/client/FusionInsight_Cluster_1_Services_ClientConfig

      3. 执行cat realm.ini >> /etc/hosts,将域名映射关系导入到hosts文件中。
    • 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。
    • 如果采用yarn-client模式运行Spark任务,请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”,并将参数值设置为客户端的IP地址。
    • 当采用yarn-client模式时,为了Spark WebUI能够正常显示,需要在Yarn的主备节点(即集群中的ResourceManager节点)的hosts文件中,配置客户端的IP地址及主机名对应关系。
  10. 进入安装包所在目录,执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/hadoopclient”目录。

    cd /opt/Bigdata/client/FusionInsight_Cluster_1_Services_ClientConfig

    执行./install.sh /opt/hadoopclient命令,等待客户端安装完成(以下只显示部分屏显结果)。

    The component client is installed successfully
    • 如果已经安装的全部服务或某个服务的客户端使用了“/opt/hadoopclient”目录,再安装其他服务的客户端时,需要使用不同的目录。
    • 卸载客户端请删除客户端安装目录。
    • 如果要求安装后的客户端仅能被该安装用户(如“user_client”)使用,请在安装时加“-o”参数,即执行./install.sh /opt/hadoopclient -o命令安装客户端。
    • 如果安装NTP服务器为chrony模式,请在安装时加“chrony”参数,即执行./install.sh /opt/hadoopclient -o chrony命令安装客户端。
    • 由于HBase使用的Ruby语法限制,如果安装的客户端中包含了HBase客户端,建议客户端安装目录路径只包含大写字母、小写字母、数字以及_-?.@+=字符。
    • 客户端节点为集群外部服务器且此节点无法与主oms节点的业务平面IP互通时或者无法访问主节点的20029端口时,客户端可以正常安装成功,但无法注册到集群中,无法在界面上进行展示。

使用客户端

  1. 在已安装客户端的节点,执行sudo su - omm命令切换用户。执行以下命令切换到客户端目录:

    cd /opt/hadoopclient

  2. 执行以下命令配置环境变量:

    source bigdata_env

  3. 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。

    kinitMRS集群用户

    例如,kinit admin

    启用Kerberos认证的MRS集群默认创建“admin”用户帐号,用于集群管理员维护集群。

  4. 直接执行组件的客户端命令。

    例如:使用HDFS客户端命令查看HDFS根目录文件,执行hdfs dfs -ls /