更新时间:2025-09-30 GMT+08:00

Flink作业概述

DLI支持的两种类型的Flink作业:

  • Flink OpenSource SQL类型作业:
    • 完全兼容社区版的Flink,确保了作业可以在这些Flink版本上无缝运行。
    • 在社区版Flink的基础上,DLI扩展了Connector的支持,新增了Redis、DWS作为数据源类型。为用户提供了更多的数据源选择,使得数据集成更加灵活和方便。
    • Flink OpenSource SQL作业适合通过SQL语句来定义和执行流处理逻辑的场景,简化了流处理的复杂性,使得开发者可以更加专注于业务逻辑的实现。

    创建Flink OpenSource SQL请参考创建Flink OpenSource SQL作业

  • Flink Jar作业:
    • DLI允许用户提交编译为Jar包的Flink作业,提供了更高的灵活性和自定义能力,适合需要进行复杂数据处理的场景。
    • 当社区版Flink提供的Connector不能满足特定需求时,用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。
    • 适合需要实现UDF(用户定义函数)或特定库集成的场景,用户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。

    创建Flink Jar作业请参考创建Flink Jar作业

在DLI的列表页面提供了v1版本的Flink作业管理、v2版本的Flink作业管理。
  • v1:使用Flink作业v1版本相关API提交的作业列表。其中,v1版本相关API包含两种提交Flink作业的场景:在DLI管理控制台提交Flink作业、使用《数据湖探索API参考》中提供的接口提交作业。
  • v2:DataArts云服务对接DLI Flink的作业列表(规划中)。