使用Flink JDBC Driver提交Flink SQL作业
本章节适用于MRS 3.6.0-LTS及以后版本。
操作场景
本章节介绍使用Flink JDBC Driver提交Flink SQL作业。
使用Flink JDBC Driver提交Flink SQL作业
- 已安装集群客户端,例如安装目录为“/opt/hadoopclient”。
- 参考使用SQL Gateway提交Flink SQL作业,启动一个SQL Gateway服务,并记录SQL Gateway服务IP地址和端口。
需修改“客户端安装目录/Flink/flink/conf/flink-conf.yaml”配置文件中的配置项“jobmanager.web.allow-access-address”,加入JDBC客户端所在的节点IP。
- 通过Maven仓获取Flink JDBC Driver包“flink-sql-jdbc-driver-bundle-xxx.jar”。
- 在IDEA Database工具中添加Driver。Driver驱动文件选择3中获取的驱动包。
图1 添加Driver驱动
- 使用新建的Flink JDBC Driver创建数据连接。
图2 创建数据连接
填写数据连接URL,URL格式为jdbc:flink://ip:端口,其中IP和端口为2创建的SQL Gateway服务的IP和端口。
图3 填写URL
- 在默认console中提交Flink SQL作业。
图4 提交Flink SQL作业
- 在Flink集群中查看提交的作业。
登录FusionInsight Manager页面,选择“集群 > 服务 > Yarn > 概览”,单击“ResourceManager WebUI”后面对应的链接,进入Yarn的WebUI页面,查看对应任务。图5 查看作业