依赖包与flink内核中依赖包冲突： 仅Flink 1.15版本支持Flink Jar作业最小化提交。 Flink相关依赖作用域请使用provided，即在依赖中添加<scope>provided</scope>。主要包含org.apache.flink组下以flink-开头的非Connector依赖。

查看更多 →

配置Flink作业权限 Flink作业权限操作场景 针对不同用户，可以通过权限设置分配不同的作业，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户和作业的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其作业权限。 给新用户设置作业权限时，该用户所在用户组的所属区域需具有Tenant

查看更多 →

选择用于存放 DLI 作业临时数据的桶，并单击“确定”。 完成设置后DLI作业运行过程中产生的临时数据将会存储在该OBS桶中。 图2 设置DLI作业桶 查看Flink作业提交日志 用户可以通过查看提交日志排查提交作业异常的故障。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。

查看更多 →

Flink运维管理 Flink常用配置参数 Flink对接应用运维管理（AOM） Flink日志介绍 父主题： 使用Flink

查看更多 →

Flink向Kafka生产并消费数据应用开发思路 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。Flink向Kafka组件发送数据（需要

查看更多 →

feature 否 String 作业特性。表示用户作业使用的Flink镜像类型。 basic：表示使用DLI提供的基础Flink镜像。 custom：表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic

查看更多 →

feature 否 String 作业特性。表示用户作业使用的Flink镜像类型。 basic：表示使用DLI提供的基础Flink镜像。 custom：表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic

查看更多 →

通过数据连接，访问不同的数据服务，包括HDFS、Kafka等。 创建FlinkServer数据连接 创建流表 通过数据表，定义源表、维表、输出表的基本属性和字段信息。 创建FlinkServer流表源 创建SQL/JAR作业（流式/批作业） 定义Flink作业的API，包括Flink

查看更多 →

Flink常见问题 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Gabage Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀。

查看更多 →

Flink SQL作业类 怎样将OBS表映射为DLI的分区表？ Flink SQL作业Kafka分区数增加或减少，怎样不停止Flink作业实现动态感知？ 在Flink SQL作业中创建表使用EL表达式，作业运行提示DLI.0005错误怎么办？ Flink作业输出流写入数据到OBS

查看更多 →

提供Java语言的API，提供过滤、join、窗口、聚合等数据处理能力。 Flink基本概念 DataStream 数据流，是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入，可以通过Socket、Kafka和文件等形式导入，在Flink系统处理后，通过Socket、Kafka和

查看更多 →

调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 调测Flink SpringBoot样例程序 父主题： Flink开发指南（普通模式）

查看更多 →

Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的

查看更多 →

该方式是YARN内部的认证方式，不需要用户配置。 当前一个Flink集群只支持一个用户，一个用户可以创建多个Flink集群。 加密传输 图2 Flink系统加密传输方式 Flink整个系统存在三种加密传输方式： 使用Yarn内部的加密传输方式：Flink yarn client与Yarn Resource

查看更多 →

Flink常用API介绍 Flink Java API接口介绍 Flink Scala API接口介绍 Flink REST API接口介绍 Flink Savepoints CLI介绍 Flink Client CLI介绍 父主题： Flink应用开发常见问题

查看更多 →

/opt/hadoopclient/Flink/flink/conf/ mkdir ssl mv flink.keystore ssl/ mv flink.truststore ssl/ vi /opt/hadoopclient/Flink/flink/conf/flink-conf.yaml 修改如下两个参数的路径详细为相对地址路径。

查看更多 →

Flink应用开发简介 组件介绍 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：

查看更多 →

调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 调测Flink SpringBoot样例程序 父主题： Flink开发指南（安全模式）

查看更多 →

Flink常用API介绍 Flink Java API接口介绍 Flink Scala API接口介绍 Flink REST API接口介绍 Flink Savepoints CLI介绍 Flink Client CLI介绍 父主题： Flink应用开发常见问题

查看更多 →

基础指标：Flink指标 介绍通过Flink服务上报到AOM的指标的类别、名称、含义等信息。 表1 Flink服务监控指标 分类 指标 指标含义 单位 CPU flink_jobmanager_Status_JVM_CPU_Load JobManager中JVM的CPU负载。 无

查看更多 →

Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi

查看更多 →