安装客户端（3.x版本）
MRS集群创建成功后，用户可自行安装集群客户端，用于连接集群内组件服务端，进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上，也可以安装在集群外的节点上。
集群内组件的服务端配置修改后，也建议重新安装客户端，否则客户端与服务端版本将不一致，可能影响部分功能的正常使用。
本章节指导用户安装MRS 3.x版本集群客户端，MRS 2.x及之前版本请参考安装客户端（2.x及之前版本）。如果集群内包含Flume组件，Flume客户端需单独安装，请参见安装Flume客户端。
MRS 3.3.1及之后版本支持下载客户端到集群主OMS、本地、主OMS节点外的其他节点上，并进行安装。详细操作请参考安装客户端（MRS 3.3.1及之后版本）。
操作视频
本视频将以MRS 3.1.0版本集群为例为您介绍手动安装及使用客户端的操作方法。
因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。
客户端安装前提条件
- 待安装客户端节点为集群外节点时，该节点必须能够与MRS集群内节点网络互通，否则安装会失败。
- 待安装客户端节点必须启用NTP服务，并保持与MRS集群服务端的时间一致，否则安装会失败。
- 在节点上安装客户端可以使用root或其它操作系统用户进行操作，该用户需要对客户端文件存放目录和安装目录具有操作权限，例如两个目录的权限为“755”。
- 使用omm和root以外的用户安装客户端时，若“/var/tmp/patch”目录已存在，需将此目录权限修改为“777”，将此目录内的日志权限修改为“666”。
在集群内节点安装客户端（MRS 3.3.1之前版本）
- 获取客户端软件包。
参考访问MRS集群Manager登录集群Manager，单击“集群”，在“概览”页面选择“更多 > 下载客户端”，弹出“下载集群客户端”提示框，选择相关下载参数后单击“确定”。图1 下载客户端
- 在Manager主页下载的客户端软件包，包含了集群内所有服务（除Flume之外）的客户端。如果只需要安装单个服务的客户端，请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。
- MRS 3.3.0及之后版本，在Manager主页中直接单击“下载客户端”即可。
表1 客户端下载参数说明 参数
描述
示例
选择客户端类型
- 完整客户端：包含完整客户端软件包及配置文件，通常选择该选项。
- 仅配置文件：仅下载客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了组件服务端配置，开发人员需要更新客户端配置文件的场景。
完整客户端
选择平台类型
客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。
LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。
- x86_64：可以部署在X86平台的客户端软件包。
- aarch64：可以部署在鲲鹏服务器的客户端软件包。
x86_64
仅保存到如下路径
指定客户端软件包在主OMS节点的存放路径。
- 勾选“仅保存到如下路径”：自定义客户端软件包在主OMS节点的存放路径，omm用户需拥有该目录的读、写与执行权限。
如未修改保存路径，文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。
- 不勾选“仅保存到如下路径”：文件生成后将自动下载并保存至本地，安装客户端时需将其上传至待安装客户端节点的指定目录。
勾选“仅保存到如下路径”
- 复制客户端软件包到待安装客户端节点的指定目录。
客户端软件包生成后默认保存在集群主OMS节点，若需要在集群内其他节点上安装客户端，需以omm用户登录主OMS节点，执行以下命令复制软件包到指定节点，否则跳过本步骤。
例如复制到“/tmp/clienttemp”目录：
scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp
- 以待安装客户端的用户登录将要安装客户端的节点。
在节点上安装客户端可以使用root用户、omm用户或其他任意操作系统用户进行操作，该用户对客户端文件存放目录和安装目录具有操作权限即可，两个目录的权限为“755”。
- 解压客户端软件包。
- 进入客户端软件包所在的目录，例如“/tmp/clienttemp”。
- 执行如下命令解压安装包。
- 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致。
sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256
FusionInsight_Cluster_1_Services_ClientConfig.tar: OK
- 执行以下命令继续解压安装包。
- 进入客户端软件包解压目录，执行如下命令安装客户端到指定目录。
cd FusionInsight_Cluster_1_Services_ClientConfig
./install.sh 客户端安装目录
例如执行：
./install.sh /opt/hadoopclient
等待客户端安装完成。
... The component client is installed successfully
- 客户端安装目录可以不存在，系统会自动创建，如果存在则必须为空。安装目录路径不能包含空格，且只能包含大写字母、小写字母、数字以及_字符。
- 卸载客户端请手动删除客户端安装目录。
- 如果要求安装后的客户端仅能被当前安装用户使用，可在安装时添加“-o”参数，例如执行./install.sh /opt/hadoopclient -o命令安装客户端。
- 检查客户端是否安装成功。
- 执行以下命令进入客户端安装目录并加载环境变量。
source bigdata_env
- 根据集群模式执行相关命令。
- 如果集群未开启Kerberos认证，则可以直接执行组件客户端相关命令。
hdfs dfs -ls /
- 如果集群开启了Kerberos认证，执行kinit命令进行用户认证。
例如：
kinit admin
Password for xxx@HADOOP.COM: #输入admin用户登录密码
输入klist命令查询并确认权限内容。Ticket cache: FILE:/tmp/krb5cc_0 Default principal: xxx@HADOOP.COM Valid starting Expires Service principal ...
- 如果集群未开启Kerberos认证，则可以直接执行组件客户端相关命令。
- 执行以下命令进入客户端安装目录并加载环境变量。
在集群外节点安装客户端（MRS 3.3.1之前版本）
- 准备一个用于安装MRS集群客户端的Linux弹性云服务器。
- 云服务器操作系统及版本建议如下：
表2 操作系统参考列表 CPU架构
操作系统
支持的版本号
x86计算
Euler
EulerOS 2.5
SUSE
SUSE Linux Enterprise Server 12 SP4（SUSE 12.4）
Red Hat
Red Hat-7.5-x86_64（Red Hat 7.5）
CentOS
CentOS-7.6版本（CentOS 7.6）
鲲鹏计算
Euler
EulerOS 2.8
CentOS
CentOS-7.6版本（CentOS 7.6）
- 弹性云服务器客户端安装目录需要分配足够的磁盘空间，至少40GB。
- 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。
- MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。
- 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。
- 弹性云服务器需要允许用户使用密码方式登录（SSH方式）。
- 云服务器操作系统及版本建议如下：
- 配置待安装客户端节点的NTP时间同步，使节点时间与MRS集群时间同步。
- 登录MRS服务管理控制台，在集群列表单击MRS集群名称，进入MRS集群详情页面。
- 单击“节点管理”，展开Master节点组列表，查看集群Master1、Master2节点的IP地址信息。
图2 查看Master节点IP地址
- 使用root用户登录待安装客户端的节点，执行以下命令编辑NTP配置文件，增加MRS集群中Master1、Master2节点的IP地址并注释掉其余server地址。
vi /etc/ntp.conf
server master1_ip prefer server master2_ip
图3 NTP配置文件修改示例
- 保存配置文件后，执行以下命令关闭NTP服务。
- 执行如下命令，手动同步一次时间。
- 执行以下命令启动NTP服务。
或者：
systemctl restart ntpd
- 执行ntpstat命令查看时间同步结果。
synchronised to NTP server (xxx) at stratum 2 time correct to within 12 ms polling server every 16 s
- 获取客户端软件包。
参考访问MRS集群Manager登录集群Manager，单击“集群”，在“概览”页面选择“更多 > 下载客户端”，弹出“下载集群客户端”提示框，选择相关下载参数后单击“确定”。图4 下载客户端
- 在Manager主页下载的客户端软件包，包含了集群内所有服务（除Flume之外）的客户端。如果只需要安装单个服务的客户端，请选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。
- MRS 3.3.0及之后版本，在Manager主页中直接单击“下载客户端”即可。
表3 客户端下载参数说明 参数
描述
示例
选择客户端类型
- 完整客户端：包含完整客户端软件包及配置文件，通常选择该选项。
- 仅配置文件：仅下载客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了组件服务端配置，开发人员需要更新客户端配置文件的场景。
完整客户端
选择平台类型
客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。
LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。
- x86_64：可以部署在X86平台的客户端软件包。
- aarch64：可以部署在鲲鹏服务器的客户端软件包。
x86_64
仅保存到如下路径
指定客户端软件包在主OMS节点的存放路径。
- 勾选“仅保存到如下路径”：自定义客户端软件包在主OMS节点的存放路径，omm用户需拥有该目录的读、写与执行权限。
如未修改保存路径，文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。
- 不勾选“仅保存到如下路径”：文件生成后将自动下载并保存至本地，安装客户端时需将其上传至待安装客户端节点的指定目录。
勾选“仅保存到如下路径”
- 复制客户端软件包到待安装客户端节点的指定目录。
客户端软件包生成后默认保存在集群主OMS节点，若需要在集群内其他节点上安装客户端，需以omm用户登录主OMS节点，执行以下命令复制软件包到指定节点，否则跳过本步骤。
例如复制到“/tmp/clienttemp”目录：
scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp
- 以待安装客户端的用户登录将要安装客户端的节点。
在节点上安装客户端可以使用root用户、omm用户或其他任意操作系统用户进行操作，该用户对客户端文件存放目录和安装目录具有操作权限即可，两个目录的权限为“755”。
- 解压客户端软件包。
- 进入客户端软件包所在的目录，例如“/tmp/clienttemp”。
- 执行如下命令解压安装包。
- 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致。
sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256
FusionInsight_Cluster_1_Services_ClientConfig.tar: OK
- 执行以下命令继续解压安装包。
- 检查客户端网络连接。
- 在待安装客户端节点的“/etc/hosts”文件中设置集群所有节点主机名和IP地址映射，可执行以下步骤在hosts文件中导入集群的域名映射关系。
- 当客户端所在主机不是集群中的节点时，配置客户端网络连接，可避免执行客户端命令时出现错误。
- 如果采用yarn-client模式运行Spark任务，请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”，并将参数值设置为客户端的IP地址。
- 当采用yarn-client模式时，为了Spark WebUI能够正常显示，需要在Yarn的主备节点（即集群中的ResourceManager节点）的hosts文件中，配置客户端的IP地址及主机名对应关系。
- 进入客户端软件包解压目录，执行如下命令安装客户端到指定目录。
cd FusionInsight_Cluster_1_Services_ClientConfig
./install.sh 客户端安装目录
例如执行：
./install.sh /opt/hadoopclient
等待客户端安装完成。
... The component client is installed successfully
- 客户端安装目录可以不存在，系统会自动创建，如果存在则必须为空。安装目录路径不能包含空格，且只能包含大写字母、小写字母、数字以及_字符。
- 卸载客户端请手动删除客户端安装目录。
- 如果要求安装后的客户端仅能被当前安装用户使用，可在安装时添加“-o”参数，例如执行./install.sh /opt/hadoopclient -o命令安装客户端。
- 检查客户端是否安装成功。
- 执行以下命令进入客户端安装目录并加载环境变量。
source bigdata_env
- 根据集群模式执行相关命令。
- 如果集群未开启Kerberos认证，则可以直接执行组件客户端相关命令。
hdfs dfs -ls /
- 如果集群开启了Kerberos认证，执行kinit命令进行用户认证。
例如：
kinit admin
Password for xxx@HADOOP.COM: #输入admin用户登录密码
输入klist命令查询并确认权限内容。Ticket cache: FILE:/tmp/krb5cc_0 Default principal: xxx@HADOOP.COM Valid starting Expires Service principal ...
- 如果集群未开启Kerberos认证，则可以直接执行组件客户端相关命令。
- 执行以下命令进入客户端安装目录并加载环境变量。
安装客户端（MRS 3.3.1及之后版本）
- 获取软件包。
登录FusionInsight Manager。
在“主页”右上方单击，弹出“下载集群客户端”信息提示框。
图5 下载客户端
如果只需要安装集群内某个服务的客户端，也可以选择“集群 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。
表4 客户端下载参数说明 参数
描述
示例
选择客户端类型
- 完整客户端：包含完整客户端软件包及配置文件，通常选择该选项。
- 仅配置文件：仅下载客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了组件服务端配置，开发人员需要更新客户端配置文件的场景。
完整客户端
选择平台类型
客户端类型必须与待安装客户端的节点架构匹配，否则客户端会安装失败。
LTS版本集群仅支持下载与Manager平台类型一致的客户端软件包。
- x86_64：可以部署在X86平台的客户端软件包。
- aarch64：可以部署在鲲鹏服务器的客户端软件包。
x86_64
选择下载位置
选择客户端文件下载位置。
- 服务器端：下载到当前集群的主OMS节点上。
- 浏览器：下载到本地电脑。
- 远端节点：下载到主OMS节点外的其他节点上。
选择该位置还需参考表5进行配置。
服务器端
保存到如下路径
指定客户端软件包的存放路径。如果下载位置选择“浏览器”则无需配置该参数。
- 如果下载位置选择“服务端”：
- 文件生成后默认保存在主OMS节点“/tmp/FusionInsight-Client/”路径。支持修改为其他目录且omm用户需要拥有目录的读、写与执行权限。如果路径中已存在客户端文件，会覆盖路径下已有的客户端文件。
- 等待文件生成后，可以使用omm用户或客户端安装用户将获取的下载包复制到其他目录，例如“/opt/Bigdata/hadoopclient”。
说明：集群内安装的服务较多时，集群客户端文件较大，且在安装客户端过程中解压客户端文件也会占用较多磁盘空间。建议将客户端文件下载至其他磁盘空间充足的目录下，或者在安装客户端后及时删除客户端下载目录内的冗余文件，避免“/tmp”目录所在磁盘空间被占满影响集群节点的正常运行。
- 如果下载位置选择“远端节点”：
文件生成后默认保存在主OMS节点“/tmp/FusionInsight-Client-Remote/”路径，支持修改为其他目录。如果路径下存在客户端文件，会覆盖已有的客户端文件。登录远端节点用户需要对下载路径具有写权限。
选择下载到“远端节点”还需参考表5进行配置。
/tmp/FusionInsight-Client/
表5 下载到远端节点配置参数 参数名称
样例
参数说明
主机IP
x.x.x.x
远端节点的IP地址。
说明：远端节点的平台类型需要与所下载客户端的平台类型一致，否则可能导致安装客户端失败。
主机端口
22
远端节点的主机端口。
登录用户名称
xxx
登录远端节点的用户名称。
远端节点用户需要对下载路径具有写权限。
登录方式
密码
登录方式：
- 密码：使用密码登录。
- SSH私钥：使用SSH私钥登录。
- 免密：选择该方式，用户需要具有免密登录节点的功能。
登录用户密码
xxx
“登录方式”选择“密码”时，需要配置该参数。
配置为登录用户的密码。
SSH私钥
-
“登录方式”选择“SSH私钥”时，需要配置该参数。
单击“添加文件”选择SSH私钥文件并上传。
自动部署到节点
是
是否自动部署到节点。客户端类型选择“完整客户端”时，支持配置该参数。
- 是，客户端会自动在当前节点上安装部署。
- 否，客户端不会自动安装部署。需要在客户端下载成功后手动进行安装。
客户端部署路径
/opt/testclient
“自动部署到节点”选择“是”时，需要配置该参数。如果仅下载配置文件，则无该参数。
远端节点上部署路径若已存在，该路径下不能包含任何文件。若不存在，该路径会被创建。登录远端节点用户需要对该路径具有执行和写权限。
- 复制客户端软件包到待安装客户端节点的指定目录。
客户端软件包生成后默认保存在集群主OMS节点，若需要在集群内其他节点上安装客户端，需以omm用户登录主OMS节点，执行以下命令复制软件包到指定节点，否则跳过本步骤。
例如复制到“/tmp/clienttemp”目录：
scp -p /tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 待安装客户端节点的IP地址:/tmp/clienttemp
- 以待安装客户端的用户登录将要安装客户端的节点。
在节点上安装客户端可以使用root用户、omm用户或其他任意操作系统用户进行操作，该用户对客户端文件存放目录和安装目录具有操作权限即可，两个目录的权限为“755”。
- 解压客户端软件包。
- 进入客户端软件包所在的目录，例如“/tmp/clienttemp”。
- 执行如下命令解压安装包。
- 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致。
sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar.sha256
FusionInsight_Cluster_1_Services_ClientConfig.tar: OK
- 执行以下命令继续解压安装包。
- 检查客户端网络连接。
- 在待安装客户端节点的“/etc/hosts”文件中设置集群所有节点主机名和IP地址映射，可执行以下步骤在hosts文件中导入集群的域名映射关系。
- 当客户端所在主机不是集群中的节点时，配置客户端网络连接，可避免执行客户端命令时出现错误。
- 如果采用yarn-client模式运行Spark任务，请在“客户端安装目录/Spark/spark/conf/spark-defaults.conf”文件中添加参数“spark.driver.host”，并将参数值设置为客户端的IP地址。
- 当采用yarn-client模式时，为了Spark WebUI能够正常显示，需要在Yarn的主备节点（即集群中的ResourceManager节点）的hosts文件中，配置客户端的IP地址及主机名对应关系。
- 进入客户端软件包解压目录，执行如下命令安装客户端到指定目录。
cd FusionInsight_Cluster_1_Services_ClientConfig
./install.sh 客户端安装目录
例如执行：
./install.sh /opt/hadoopclient
等待客户端安装完成。
... The component client is installed successfully
- 客户端安装目录可以不存在，系统会自动创建，如果存在则必须为空。安装目录路径不能包含空格，且只能包含大写字母、小写字母、数字以及_字符。
- 卸载客户端请删除客户端安装目录。
- 如果要求安装后的客户端仅能被该安装用户（如“user_client”）使用，请在安装时加“-o”参数，即执行./install.sh /opt/hadoopclient -o命令安装客户端。
- 如果需要安装客户端的服务器在集群内，则无需指NTP服务器模式，即执行./install.sh /opt/hadoopclient命令安装客户端。
- 如果需要安装客户端的服务器在集群外，且本服务器上NTP服务器模式与集群内NTP服务器模式一致，即执行./install.sh /opt/hadoopclient命令安装客户端。
- 如果需要安装客户端的服务器在集群外，且本地服务器上NTP服务器模式与集群内NTP服务器模式不一致，即执行./install.sh /opt/hadoopclient -o chrony或者./install.sh /opt/hadoopclient -o ntp命令安装客户端。命令中chrony或ntp与本服务器上的NTP服务器模式保持一致。
- MRS 3.3.0-LTS及之后版本，如果安装客户端时，不校验时钟同步，即执行./install.sh /opt/hadoopclient -u命令安装客户端。
- MRS 3.3.0-LTS及之后版本，如果安装客户端时，不校验时钟同步，且要求安装后的客户端仅能被该安装用户（如“user_client”）使用，请在安装时加“-ou”参数，即执行./install.sh /opt/hadoopclient -ou命令安装客户端。
- 客户端节点为集群外部服务器且此节点无法与主OMS节点的业务平面IP互通时或者无法访问主节点的20029端口时，客户端可以正常安装成功，但无法注册到集群中，无法在界面上进行展示。
- 检查客户端是否安装成功。
- 执行以下命令进入客户端安装目录并加载环境变量。
source bigdata_env
- 根据集群模式执行相关命令。
- 如果集群未开启Kerberos认证，则可以直接执行组件客户端相关命令。
hdfs dfs -ls /
- 如果集群开启了Kerberos认证，执行kinit命令进行用户认证。
例如：
kinit admin
Password for xxx@HADOOP.COM: #输入admin用户登录密码
输入klist命令查询并确认权限内容。Ticket cache: FILE:/tmp/krb5cc_0 Default principal: xxx@HADOOP.COM Valid starting Expires Service principal ...
- 如果集群未开启Kerberos认证，则可以直接执行组件客户端相关命令。
- 执行以下命令进入客户端安装目录并加载环境变量。
- 如果集群重装后，之前安装的客户端将不再可用，需要重新部署客户端。
- 以root用户登录客户端所在节点。
- 使用以下命令查看客户端所在目录（下例中“/opt/hadoopclient”为客户端所在目录）。
drwxr-x---. 6 root root 4096 Dec 11 19:00 hadoopclient drwxr-xr-x. 3 root root 4096 Dec 9 02:04 godi drwx------. 2 root root 16384 Nov 6 01:03 lost+found drwxr-xr-x. 2 root root 4096 Nov 7 09:49 rh
- 使用mv命令移除所有客户端程序所在文件夹内的文件（例如移除“/opt/hadoopclient”文件夹）。
mv /opt/hadoopclient /tmp/clientbackup
- 重新安装客户端。
