FlinkSQL Client提交作业

操作场景

本章节提供一个使用FlinkSQL Client提交作业的操作入门指导。

前提条件

• MRS集群中已安装Flink组件且集群内各组件正常运行。
• 已安装集群客户端，例如安装目录为“/opt/hadoopclient”。

操作步骤

1. 以客户端安装用户，登录安装客户端的节点。
2. 执行以下命令，切换到客户端安装目录。

   cd /opt/hadoopclient

3. 执行如下命令初始化环境变量。

   source /opt/hadoopclient/bigdata_env

4. 进入FlinkSQL Client并提交作业。
   1. 参考从零开始使用Flink启动yarn-session，并记录yarn-session ID（yid）。

      yarn-session.sh -nm "session-name"

   2. 执行以下命令进入FlinkSQL Client。

      cd /opt/hadoopclient/Flink/flink/bin

      ./sql-client.sh

      图1 进入FlinkSQL Client
      
   3. 设置“high-availability.cluster-id”为yarn-session ID。

      SET high-availability.cluster-id=yarn-session ID;

   4. 执行以下SQL语句，执行成功后控制台显示如下：

      SELECT name, COUNT(*) AS cnt FROM ( VALUES ('Bob'), ('Alice'), ('Greg'), ('Bob') ) AS NameTable(name) GROUP BY name;

      图2 执行结果
      
   5. 可在Yarn上查看执行的任务。

      登录FusionInsight Manager页面，选择“集群 > 服务 > Yarn > 概览”，单击“ResourceManager WebUI”后面对应的链接，进入Yarn的WebUI页面，查看对应任务。

      图3 作业任务