Flink作业相关API 新建SQL作业 更新SQL作业 新建Flink Jar作业 更新Flink Jar作业 批量运行作业 查询作业列表 查询作业详情 查询作业执行计划 批量停止作业 删除作业 批量删除作业 导出Flink作业 导入Flink作业 生成Flink SQL作业的静态流图

查看更多 →

过存储的方式不同，CDC格式数据会将更新前和更新后的数据在一行记录，而changelog数据会将更新数据拆分成两行，一行是对更新前数据的删除操作，一行是更新后的数据插入操作记录。Flink在计算的时候会将基于更新数据的聚合结果删除，在将基于更新后数据的计算结果插入。changel

查看更多 →

ElasticSearch, ZooKeeper, Flink, Redis）； （3）华为大数据解决方案、功能特性及华为在大数据行业的成功案例。 知识点 大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式 数据仓库 10% HBase技术原理 11%

查看更多 →

Flink on Hudi开发规范 Flink流式读Hudi表规范 Flink流式写Hudi表规范 Flink作业参数规范 父主题： Flink应用开发规范

查看更多 →

使用Hive SQL时如果Flink语法不兼容则可切换Hive方言 当前Flink支持的SQL语法解析引擎有default和Hive两种，第一种为Flink原生SQL语言，第二种是Hive SQL语言。因为部分Hive语法的DDL和DML无法用Flink SQL运行，所以遇到这种

查看更多 →

Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的

查看更多 →

调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题： Flink开发指南（普通模式）

查看更多 →

调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题： Flink开发指南（安全模式）

查看更多 →

资源冗余量 Flink任务运行时，建议整个集群的Yarn资源留有一定的余量。比如当前Yarn总体的资源有100Vcore，200GB，则建议Yarn的任务使用90vcore，180GB，保留10%的资源用于当部分节点故障时，任务可以自动重试恢复。 父主题： 使用Flink

查看更多 →

Flink滑动窗口增强 本节主要介绍Flink滑动窗口以及滑动窗口的优化方式。 Flink窗口的详细内容请参见官网：https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/stream/operators/windows

查看更多 →

Flink用户权限管理 Flink安全认证机制说明 Flink用户权限说明 创建FlinkServer权限角色 配置Flink对接Kafka安全认证 配置Flink认证和加密 父主题： 使用Flink

查看更多 →

Flink用户权限说明 访问并使用Flink WebUI进行业务操作需为用户赋予FlinkServer相关权限，Manager的admin用户没有FlinkServer的业务操作权限。 FlinkServer中应用（租户）是最大管理范围，包含集群连接管理、数据连接管理、应用管理、流表和作业管理等。

查看更多 →

Flink SQL作业类型 Flink SQL概述 做源表 做结果表 做维表 父主题： dws-connector-flink

查看更多 →

创建Flink SQL作业 本章节介绍如何新建Flink SQL作业。Flink SQL是一种由用户根据自己的逻辑需求编写作业的方式。用SQL表达业务逻辑，可以简便快捷的实现业务。目前Flink SQL作业支持两种Flink SQL语句编辑方式：SQL编辑器。本章节主要介绍使用SQL编辑器编写Flink

查看更多 →

备份Flink元数据 操作场景 为了确保Flink集群中的元数据安全，或者系统管理员需要对Flink进行重大操作（如升级或迁移等）时，需要对Flink集群的元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过 FusionInsight

查看更多 →

Manager创建恢复Flink任务。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Flink元数据，建议手动备份最新Flink元数据后，再执行恢复Flink元数据操作。否则会丢失从备份时刻到恢复时刻之间的Flink元数据。

查看更多 →

ta/client/Flink/flink/conf/”，此时需要将conf目录中的flink.keystore和flink.truststore文件分别放置在Flink Client以及Yarn各个节点的该绝对路径上。 相对路径：请执行如下步骤配置flink.keystore和flink

查看更多 →

Flink SQL和Flink Opensource SQL的语法有什么区别？ Flink SQL是 DLI 早期的自研语法，不兼容开源语法。 Flink Opensource SQL完全兼容Flink开源语法，随开源Flink 更新不断迭代。 因此推荐您使用Flink Opensource

查看更多 →

Flink开源社区开发文档：https://nightlies.apache.org/flink/flink-docs-stable/。 父主题： Flink应用开发规范

查看更多 →

Flink任务开发规范 Flink任务开发规则 Flink任务开发建议 父主题： Flink应用开发规范

查看更多 →

Flink开发样例 Flink支持对接ClickHouse、HBase、HDFS等多个服务，具体支持版本及样例详情可参考如下： FlinkServer对接ClickHouse FlinkServer对接HBase FlinkServer对接HDFS FlinkServer对接Hive

查看更多 →