Flink日志介绍 日志描述 日志存储路径： Flink作业运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日

查看更多 →

作业管理”>“Flink作业”，进入Flink作业管理页面。 在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。 根据实际需求编辑作业。 对于Flink SQL类型作业，编辑页面详情请参见创建Flink SQL作业中的步骤5~步骤7。 对于Flink自定义类型作业，编辑页面详情请参见创建Flink

查看更多 →

展示用户Flink作业字节的输入总数。单位：字节。 Flink作业字节输出总数 展示用户Flink作业字节的输出总数。单位：字节。 Flink作业CPU使用率 展示用户Flink作业的CPU使用率。单位：%。 Flink作业内存使用率 展示用户Flink作业的内存使用率。单位：%。

查看更多 →

开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink对接 云搜索服务 （ CSS ）样例程序 父主题： Flink开发指南（普通模式）

查看更多 →

开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 父主题： Flink开发指南（安全模式）

查看更多 →

Flink作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化 DLI 客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到DLI，示例代码如下：

查看更多 →

开发Flink应用 DataStream程序 向Kafka生产并消费数据程序 异步Checkpoint机制程序 Stream SQL Join程序 父主题： Flink开发指南

查看更多 →

开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST

查看更多 →

开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST

查看更多 →

Flink CEP in SQL SQL中的Flink CEP CloudStream扩展为允许用户在SQL中表示CEP查询结果以用于模式匹配，并在Flink引擎上对事件流进行评估。 SQL查询语法 通过MATCH_RECOGNIZE的SQL语法实现。MATCH_RECOGNIZE子句自Oracle

查看更多 →

Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。

查看更多 →

Flink日志介绍 日志描述 日志存储路径： Flink作业运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日

查看更多 →

Flink SQL语法约束与定义 语法约束 当前Flink SQL只支持SELECT，FROM，WHERE，UNION，聚合，窗口，流表JOIN以及流流JOIN。 数据不能对Source流做insert into操作。 Sink流不能用来做查询操作。 语法支持范围 基础类型： V

查看更多 →

SQL样例模板 Flink OpenSource SQL样例模板 自定义模板 新建模板 基于模板新建作业 修改模板 删除模板 Flink SQL样例模板 Flink SQL样例模板列表显示已有的Flink SQL样例作业模板，Flink SQL样例模板列表参数说明如表 1所示。 已有样例模板的具体场景以控制台为准。

查看更多 →

Flink故障排除 使用不同用户执行yarn-session创建Flink集群失败 使用Flink过程中，具有两个相同权限用户testuser和bdpuser。使用用户testuser创建Flink集群正常，但是切换至bdpuser用户创建Fllink集群时，执行yarn-session

查看更多 →

导出Flink作业 功能介绍 该API用于导出Flink作业数据。 调试 您可以在 API Explorer 中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/export 参数说明 表1 URI参数说明 参数名称 是否必选

查看更多 →

参数 DLI Flink Job的参数配置，请参考以下内容： 属性参数： 当作业类型为“Flink SQL作业”、“Flink OpenSource SQL作业”或“Flink自定义作业”时，系统会根据在节点中配置的作业情况，进行创建和启动作业。 选择已存在的Flink作业：请参见表1。

查看更多 →

MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程，请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。

查看更多 →

弹性伸缩，保障业务稳定性，不需要人工进行额外调试。 DLI Flink与MRS Flink的功能对比如表1所示。 表1 DLI Flink与MRS Flink功能对比 类型 特点 DLI Flink MRS Flink 特色能力 产品模式 全托管（无需人力运维集群） 半托管（需要人力运维集群）

查看更多 →

Flink on Hudi开发规范 Flink流式读Hudi表规范 Flink流式写Hudi表规范 Flink作业参数规范 父主题： Flink应用开发规范

查看更多 →

Hudi的MOR表中仅在log文件中存在changelog数据，如果Flink作业计算延迟导致上游数据积压，而Hudi又清理了log文件，就会导致changelog丢失。针对这种情况需要保留版本数多一点，且给Flink作业合理的资源配置避免数据积压周期超过了清理周期。 基于状态后端生

查看更多 →