安装客户端(2.x及之前版本)
MRS集群创建成功后,用户可自行安装集群客户端,用于连接集群内组件服务端,进行组件连接、作业提交等任务。集群客户端可以安装在集群内的节点上,也可以安装在集群外的节点上。
集群内组件的服务端配置修改后,也建议重新安装客户端,否则客户端与服务端版本将不一致,可能影响部分功能的正常使用。
本章节指导用户安装MRS 2.x及之前版本的集群客户端,MRS 3.x版本请参考安装客户端(3.x版本)。
MRS 3.x之前版本集群在集群创建后,在主Master节点默认安装有客户端,安装目录为“/opt/client”。
在集群内节点安装客户端
- 参考访问MRS集群Manager登录集群Manager,选择“服务管理 > 下载客户端”下载客户端安装包至主OMS节点。
- 在MRS管理控制台,查看指定集群“节点管理”页面的“IP”地址。
记录待安装客户端的节点IP地址及主Master节点IP地址(主OMS节点)。
- 以root用户登录主OMS节点,执行以下命令切换至omm用户。
sudo su - omm
- 执行以下命令,将客户端安装包复制到指定节点。
scp -p /tmp/MRS-client/MRS_Services_Client.tar 待安装客户端节点的IP地址:/opt/client_tmp
- 以root用户登录待安装客户端节点。
- 执行以下命令,安装客户端:
cd /opt/client_tmp
tar -xvf MRS_Services_Client.tar
tar -xvf MRS_Services_ClientConfig.tar
cd MRS_Services_ClientConfig
./install.sh 客户端安装目录
例如执行:
./install.sh /opt/hadoopclient
等待客户端安装成功。
- 客户端安装目录可以不存在,系统会自动创建,如果存在则必须为空。安装目录路径不能包含空格,且只能包含大写字母、小写字母、数字以及_字符。
- 卸载客户端请手动删除客户端安装目录。
- 检查客户端是否安装成功。
- 执行以下命令进入客户端安装目录并加载环境变量。
source bigdata_env
- 根据集群模式执行相关命令。
- 如果集群未开启Kerberos认证,则可以直接执行组件客户端相关命令。
hdfs dfs -ls /
- 如果集群开启了Kerberos认证,执行kinit命令进行用户认证。
例如:
kinit admin
Password for xxx@HADOOP.COM: #输入admin用户登录密码
输入klist命令查询并确认权限内容。Ticket cache: FILE:/tmp/krb5cc_0 Default principal: xxx@HADOOP.COM Valid starting Expires Service principal ...
- 如果集群未开启Kerberos认证,则可以直接执行组件客户端相关命令。
- 执行以下命令进入客户端安装目录并加载环境变量。
在集群外节点上安装客户端
- 准备一个用于安装MRS集群客户端的Linux弹性云服务器。
- 云服务器操作系统及版本建议如下:
表1 操作系统参考列表 CPU架构
操作系统
支持的版本号
x86计算
Euler
- 可用:Euler OS 2.2
- 可用:Euler OS 2.3
- 可用:Euler OS 2.5
鲲鹏计算(ARM)
Euler
可用:Euler OS 2.8
- 弹性云服务器的CPU架构需和MRS集群节点保持一致。
- 弹性云服务器客户端安装目录需要分配足够的磁盘空间,至少40GB。
- 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。
- MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。
- 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。
- 弹性云服务器需要允许用户使用密码方式登录(SSH方式)。
- 云服务器操作系统及版本建议如下:
- 参考访问MRS集群Manager登录集群Manager,然后选择“服务管理 > 下载客户端”。
- 在“客户端类型”选择“完整客户端”。
- 在“下载路径”选择“远端主机”。
- 将“主机IP”设置为待安装客户端节点的IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。
如果节点的SSH登录默认端口被修改,请将“主机端口”设置为新端口。
- “登录用户”设置为“root”。
如果使用其他用户,请确保该用户对保存目录拥有读取、写入和执行权限。
- 在“登录方式”选择“密码”或“SSH私钥”。
- 密码:输入创建集群时设置的root用户密码。
- SSH私钥:选择并上传创建集群时使用的密钥文件。
- 单击“确定”开始生成客户端文件。
等待界面提示文件下载成功,到待安装客户端节点的指定路径中获取客户端软件包。
如果客户端下载失败,请检查用户名密码及远端主机的安全组配置,确保用户名密码正确,及远端主机的安全组已增加SSH端口的入方向规则,然后重新下载客户端。
生成客户端会占用大量的磁盘IO,不建议在集群处于安装中、启动中、打补丁中等非稳态场景下载客户端。
- 配置待安装客户端节点的NTP时间同步,使节点时间与MRS集群时间同步。
- 登录MRS服务管理控制台,在集群列表单击MRS集群名称,进入MRS集群详情页面。
- 单击“节点管理”,展开Master节点组列表,查看集群Master1、Master2节点的IP地址信息。
- 使用root用户登录待安装客户端的节点,执行以下命令编辑NTP配置文件,增加MRS集群中Master1、Master2节点的IP地址并注释掉其余server地址。
vi /etc/ntp.conf
server master1_ip prefer server master2_ip
图1 NTP配置文件修改示例
- 保存配置文件后,执行以下命令关闭NTP服务。
- 执行如下命令,手动同步一次时间。
- 执行以下命令启动NTP服务。
或者:
systemctl restart ntpd
- 执行ntpstat命令查看时间同步结果。
synchronised to NTP server (xxx) at stratum 2 time correct to within 12 ms polling server every 16 s
- 将下载的客户端软件包复制到“/opt”目录下。
cp /tmp/MRS_Services_Client.tar /opt
- 执行以下命令解压软件包。
cd /opt
tar -xvf MRS_Services_Client.tar
- 执行以下命令校验文件。
sha256sum -c MRS_Services_ClientConfig.tar.sha256
界面显示如下:
MRS_Services_ClientConfig.tar: OK
- 执行以下命令继续解压软件包。
tar -xvf MRS_Services_ClientConfig.tar
- 执行以下命令安装集群客户端。
sh /opt/MRS_Services_ClientConfig/install.sh 客户端安装目录
例如执行:
sh /opt/MRS_Services_ClientConfig/install.sh /opt/hadoopclient
查看安装输出信息,如有以下结果表示客户端安装成功:
Components client installation is complete.
- 客户端安装目录可以不存在,系统会自动创建,如果存在则必须为空。安装目录路径不能包含空格,且只能包含大写字母、小写字母、数字以及_字符。
- 卸载客户端请手动删除客户端安装目录。
- 检查客户端是否安装成功。
- 执行以下命令进入客户端安装目录并加载环境变量。
source bigdata_env
- 根据集群模式执行相关命令。
- 如果集群未开启Kerberos认证,则可以直接执行组件客户端相关命令。
hdfs dfs -ls /
- 如果集群开启了Kerberos认证,执行kinit命令进行用户认证。
例如:
kinit admin
Password for xxx@HADOOP.COM: #输入admin用户登录密码
输入klist命令查询并确认权限内容。Ticket cache: FILE:/tmp/krb5cc_0 Default principal: xxx@HADOOP.COM Valid starting Expires Service principal ...
- 如果集群未开启Kerberos认证,则可以直接执行组件客户端相关命令。
- 执行以下命令进入客户端安装目录并加载环境变量。