Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi

查看更多 →

Flink HA方案介绍 Flink HA方案介绍 每个Flink集群只有单个JobManager，存在单点失败的情况。Flink有Yarn、Standalone和Local三种模式，其中Yarn和Standalone是集群模式，Local是指单机模式。但Flink对于Yarn模

查看更多 →

Flink开源增强特性 Flink滑动窗口增强 Flink Job Pipeline增强 Flink Stream SQL Join Flink CEP in SQL 父主题： Flink

查看更多 →

设计Flink分区方法 操作场景 合理的设计分区依据，可以优化task的切分。在程序编写过程中要尽量分区均匀，这样可以实现每个task数据不倾斜，防止由于某个task的执行时间过长导致整个任务执行缓慢。 操作步骤 以下是几种分区方法。 随机分区：将元素随机地进行分区。 dataStream

查看更多 →

Flink常见问题 签发Flink证书样例 父主题： 使用Flink

查看更多 →

图形化作业管理：简单易用。 Flink WebUI关键能力 FlinkWebUI关键能力如表1： 表1 Flink WebUI关键能力 关键能力分类 描述 批流一体 支持一套Flink SQL定义批作业和流作业。 Flink SQL内核能力 Flink SQL支持自定义大小窗、24小时以内流计算、超出24小时批处理。

查看更多 →

该方式是YARN内部的认证方式，不需要用户配置。 当前一个Flink集群只支持一个用户，一个用户可以创建多个Flink集群。 加密传输 图2 Flink系统加密传输方式 Flink整个系统存在三种加密传输方式： 使用Yarn内部的加密传输方式：Flink yarn client与Yarn Resource

查看更多 →

Flink常用API介绍 Flink Java API接口介绍 Flink Scala API接口介绍 Flink REST API接口介绍 Flink Savepoints CLI介绍 Flink Client CLI介绍 父主题： Flink应用开发常见问题

查看更多 →

程。 当前 MRS 提供以下Flink相关样例工程，安全模式路径为“flink-examples/flink-examples-security”，普通模式路径为“flink-examples/flink-examples-normal”： 表2 Flink相关样例工程 样例工程 描述

查看更多 →

调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 调测Flink SpringBoot样例程序 父主题： Flink开发指南（安全模式）

查看更多 →

Flink常用API介绍 Flink Java API接口介绍 Flink Scala API接口介绍 Flink REST API接口介绍 Flink Savepoints CLI介绍 Flink Client CLI介绍 父主题： Flink应用开发常见问题

查看更多 →

/opt/hadoopclient/Flink/flink/conf/ mkdir ssl mv flink.keystore ssl/ mv flink.truststore ssl/ vi /opt/hadoopclient/Flink/flink/conf/flink-conf.yaml 修改如下两个参数的路径详细为相对地址路径。

查看更多 →

程。 当前MRS提供以下Flink相关样例工程，安全模式路径为“flink-examples/flink-examples-security”，普通模式路径为“flink-examples/flink-examples-normal”： 表2 Flink相关样例工程 样例工程 描述

查看更多 →

调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 调测Flink SpringBoot样例程序 父主题： Flink开发指南（普通模式）

查看更多 →

Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的

查看更多 →

Flink组件对接OBS 对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 配置好Flink客户端，具体配置参考从零开始使用Flink的步骤1至步骤4。 启动session。 普通集群（未开启Kerberos认证）

查看更多 →

feature 否 String 作业特性。表示用户作业使用的Flink镜像类型。 basic：表示使用 DLI 提供的基础Flink镜像。 custom：表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic

查看更多 →

feature 否 String 作业特性。表示用户作业使用的Flink镜像类型。 basic：表示使用DLI提供的基础Flink镜像。 custom：表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic

查看更多 →

Flink作业参数规范 Flink作业参数规则 Flink作业参数建议 父主题： Flink on Hudi开发规范

查看更多 →

Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 Flink作业RocksDB状态后端调优 配置Flink作业状态后端冷热数据分离存储 父主题： 使用Flink

查看更多 →

配置Flink任务进程参数 操作场景 Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对F

查看更多 →