更新时间:2024-09-27 GMT+08:00

Flink OpenSource SQL 1.15版本使用说明

如果您的作业是从Flink1.12版本切换至Flink 1.15,在使用Flink OpenSource SQL 1.15时请注意以下使用说明。

  • Flink SQL采用SQL Client 提交方式,相比Flink1.12的优化参数,Flink 1.15需要在SQL脚本使用SET 'key'='vaule';进行配置。详细语法请参考SQL Client Configuration
  • Flink 1.15新增Flink Connector列表如下:Doris Connector、Hive Connector。详细操作请参考Flink OpenSource SQL1.15语法概览
  • Flink 1.15需要配置租户面自定义委托,并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托
  • Flink 1.15作业管理凭据的方法:
  • Flink 1.15 Jar 读取用户自定义配置文件的方式相比Flink 1.12存在差异。详细操作说明请参考使用Flink Jar写入数据到OBS开发指南
  • Flink 1.15 Jar 程序,采用反向类加载机制(child-first),可通过优化参数设置某些依赖包由父类加载器加载:parent.first.classloader.jars=test1.jar,test2.jar
  • Flink 1.15 Jar 系统内置jar包清单,请在FLink作业的日志中获取Flink 1.15相关依赖包信息:
    1. 查看Flink日志。
      1. 登录DLI管理控制台,选择“作业管理 > Flink作业”。
      2. 单击作业名称,选择“运行日志”。
      3. 控制台只展示最新的运行日志,更多日志信息请查看保存日志的OBS桶。
    2. 在日志中搜索依赖包信息。

      在日志中搜索“Classpath:”即可查看相关依赖包信息。

  • Flink 1.15 不再支持DLI程序包管理的功能,依赖包、依赖文件等请在编辑作业时直接选择上传的OBS路径。