更新时间:2024-09-20 GMT+08:00
Flink OpenSource SQL 1.15版本使用说明
如果您的作业是从Flink1.12版本切换至Flink 1.15,在使用Flink OpenSource SQL 1.15时请注意以下使用说明。
- Flink SQL采用SQL Client 提交方式,相比Flink1.12的优化参数,Flink 1.15需要在SQL脚本使用SET 'key'='vaule';进行配置。详细语法请参考SQL Client Configuration。
- Flink 1.15新增Flink Connector列表如下:Doris Connector、Hive Connector。详细操作请参考Flink OpenSource SQL1.15语法概览。
- Flink 1.15需要配置租户面自定义委托,并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托。
- Flink 1.15作业管理凭据的方法:
- Flink OpenSource SQL中推荐使用DEW管理密码密钥等访问凭据信息。请参考Flink Opensource SQL使用DEW管理访问凭据。
- Flink Jar 作业使用固定AKSK访问OBS、Flink Jar 获取委托的临时AKSK、Flink SQL UDF 获取委托的临时AKSK场景。请参考Flink作业委托场景开发指导。
- Flink 1.15 Jar 读取用户自定义配置文件的方式相比Flink 1.12存在差异。详细操作说明请参考使用Flink Jar写入数据到OBS开发指南。
- Flink 1.15 Jar 程序,采用反向类加载机制(child-first),可通过优化参数设置某些依赖包由父类加载器加载:parent.first.classloader.jars=test1.jar,test2.jar
- Flink 1.15 Jar 系统内置jar包清单,请在FLink作业的日志中获取Flink 1.15相关依赖包信息:
- Flink 1.15 不再支持DLI程序包管理的功能,依赖包、依赖文件等请在编辑作业时直接选择上传的OBS路径。