更新时间:2024-08-03 GMT+08:00

安装Flink客户端

Flink使用Windows环境进行开发,运行环境则建议部署在Linux环境下,MRS客户端不支持安装在Windows环境。您可以执行如下操作完成客户端的配置。

操作步骤

  1. 安装Flink客户端。

    1. 确认服务端Flink组件已经安装。
    2. 下载Flink客户端程序。
      1. 登录MRS Manager。
      2. 单击“服务管理 > Flink > 下载客户端”,在“客户端类型”勾选“完整客户端”,“下载路径”选择“服务器端”,单击“确定”下载客户端到服务器端。
    3. 执行如下命令解压缩客户端安装包“MRS_Flink_Client.tar”。

      tar -xvf /tmp/MRS-client/MRS_Flink_Client.tar

      tar -xvf /tmp/MRS-client/MRS_Flink_ClientConfig.tar

    4. 进入解压文件夹(/tmp/MRS-client/MRS_Flink_ClientConfig),执行./install.sh#{client_install_home} 安装客户端。

      例如:./install.sh /opt/flinkclient

      若集群开启Kerberos认证,如需在集群外的节点上使用客户端,请在该客户端的flink配置文件flink-conf.yaml的配置项“jobmanager.web.allow-access-address”中添加该客户端所在节点的IP。若集群未开启Kerberos认证则无需修改该配置项。

  2. 配置客户端网络连接。

    当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。

    1. 确认客户端与服务端各个主机网络上互通。
    2. 将服务端主机名与IP映射关系添加到客户端的hosts文件中。
    3. 如果用户使用yarn-client模式,还需要将客户端的主机名与IP的映射关系添加到Yarn ResourceManager节点的hosts文件中。

      linux环境文件位置为“/etc/hosts”,Windows环境文件位置为“C:\Windows\System32\drivers\etc\hosts”

    4. 确认客户端和集群时间一致性。客户端机器的时间与Flink集群的时间要保持一致,时间差要小于5分钟。
    5. 检查Flink客户端的“flink-conf.yaml”配置文件中的配置项是否配置正确。