更新时间:2026-06-29 GMT+08:00
分享

FlinkSQL Client提交作业

操作场景

本章节提供一个使用FlinkSQL Client提交作业的操作入门指导。

约束与限制

本章节仅适用于MRS 3.3.0-LTS及之后版本。

前提条件

  • MRS集群中已安装Flink组件且集群内各组件正常运行。
  • 已安装集群客户端,例如安装目录为“/opt/hadoopclient”。

操作步骤

  1. 以客户端安装用户,登录安装客户端的节点。
  2. 执行以下命令,切换到客户端安装目录。

    cd /opt/hadoopclient

  3. 执行如下命令初始化环境变量。

    source /opt/hadoopclient/bigdata_env

  4. 进入FlinkSQL Client并提交作业。

    1. 参考Flink客户端使用实践启动yarn-session,并记录yarn-session ID(yid)。
      yarn-session.sh -nm "session-name"
    2. 执行以下命令进入FlinkSQL Client。
      cd /opt/hadoopclient/Flink/flink/bin
      ./sql-client.sh
      图1 进入FlinkSQL Client
    3. 设置“high-availability.cluster-id”为yarn-session ID。
      SET high-availability.cluster-id=yarn-session ID;
    1. 执行以下SQL语句,执行成功后控制台显示如下:
      SELECT name, COUNT(*) AS cnt FROM ( VALUES ('Bob'), ('Alice'), ('Greg'), ('Bob') ) AS NameTable(name) GROUP BY name;
      图2 执行结果
    2. 可在Yarn上查看执行的任务。

      登录集群Manager页面,选择“集群 > 服务 > Yarn > 概览”,单击“ResourceManager WebUI”后面对应的链接,进入Yarn的WebUI页面,查看对应任务。

      登录集群Manager具体操作,请参考访问MRS集群Manager

      图3 作业任务

相关文档