安装Flink客户端
Flink使用Windows环境进行开发,运行环境则建议部署在Linux环境下,MRS客户端不支持安装在Windows环境。您可以执行如下操作完成客户端的配置。
操作步骤
- 安装Flink客户端。
- 确认服务端Flink组件已经安装。
- 下载Flink客户端程序。
- 登录MRS Manager。
- 单击“服务管理 > Flink > 下载客户端”,在“客户端类型”勾选“完整客户端”,“下载路径”选择“服务器端”,单击“确定”下载客户端到服务器端。
- 执行如下命令解压缩客户端安装包“MRS_Flink_Client.tar”。
tar -xvf /tmp/MRS-client/MRS_Flink_Client.tar
tar -xvf /tmp/MRS-client/MRS_Flink_ClientConfig.tar
- 进入解压文件夹(/tmp/MRS-client/MRS_Flink_ClientConfig),执行./install.sh#{client_install_home} 安装客户端。
例如:./install.sh /opt/flinkclient
若集群开启Kerberos认证,如需在集群外的节点上使用客户端,请在该客户端的flink配置文件flink-conf.yaml的配置项“jobmanager.web.allow-access-address”中添加该客户端所在节点的IP。若集群未开启Kerberos认证则无需修改该配置项。
- 配置客户端网络连接。
当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。
- 确认客户端与服务端各个主机网络上互通。
- 将服务端主机名与IP映射关系添加到客户端的hosts文件中。
- 如果用户使用yarn-client模式,还需要将客户端的主机名与IP的映射关系添加到Yarn ResourceManager节点的hosts文件中。
linux环境文件位置为“/etc/hosts”,Windows环境文件位置为“C:\Windows\System32\drivers\etc\hosts”
- 确认客户端和集群时间一致性。客户端机器的时间与Flink集群的时间要保持一致,时间差要小于5分钟。
- 检查Flink客户端的“flink-conf.yaml”配置文件中的配置项是否配置正确。