功能描述 创建sink流将Flink作业数据通过OBS转储方式输出到 数据仓库 服务(DWS)，即Flink作业数据先输出到OBS，然后再从OBS导入到DWS。如何导入OBS数据到DWS具体可参考《数据仓库服务数据库开发指南》中“从OBS并行导入数据到集群”章节。 数据仓库服务（Data Warehouse

查看更多 →

获取数据仓库列表信息 功能介绍 获取数据仓库列表 URI GET /v1.0/{project_id}/common/warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID 表2 Query参数

查看更多 →

Flink对接OBS 概述 Flink是一个分布式的数据处理引擎，用于处理有界和无界流式数据。Flink定义了文件系统抽象，OBS服务实现了Flink的文件系统抽象，使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。

查看更多 →

Flink作业类 Flink作业咨询类 Flink SQL作业类 Flink Jar作业类 Flink作业性能调优类

查看更多 →

Flink日志介绍 日志描述 日志存储路径： Flink作业运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日

查看更多 →

开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST

查看更多 →

开发Flink应用 DataStream程序 向Kafka生产并消费数据程序 异步Checkpoint机制程序 Stream SQL Join程序 父主题： Flink开发指南

查看更多 →

开发Flink应用 Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST

查看更多 →

Flink作业概述 DLI 支持的两种类型的Flink作业： Flink OpenSource SQL类型作业： 完全兼容社区版的Flink，确保了作业可以在这些Flink版本上无缝运行。 在社区版Flink的基础上，DLI扩展了Connector的支持，新增了Redis、DWS作

查看更多 →

过存储的方式不同，CDC格式数据会将更新前和更新后的数据在一行记录，而changelog数据会将更新数据拆分成两行，一行是对更新前数据的删除操作，一行是更新后的数据插入操作记录。Flink在计算的时候会将基于更新数据的聚合结果删除，再将基于更新后数据的计算结果插入。changel

查看更多 →

Flink作业相关API 新建SQL作业 更新SQL作业 新建Flink Jar作业 更新Flink Jar作业 批量运行作业 查询作业列表 查询作业详情 查询作业执行计划 批量停止作业 删除作业 批量删除作业 导出Flink作业 导入Flink作业 生成Flink SQL作业的静态流图

查看更多 →

deleteStreamJobs 停止Flink作业 jobs stopStreamJobs 提交Flink作业 jobs submitStreamJobs 创建Flink jar作业 jobs createStreamJarJob 更新Flink jar作业 jobs updateStreamJarJob

查看更多 →

流生态作业开发指引 概述 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的 数据湖探索 。 数据湖 探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态

查看更多 →

包括获取数据仓库列表信息和获取数据仓库的数据列表的接口。 数据仓库自定义属性 包括获取数据仓库自定义属性列表的接口。 集群信息管理 包括查询可用资源规格的接口。 数据总览 包括获取数据服务总览和获取轨迹统计的接口。 数据包 包括获取数据包列表、获取数据包详情、永久删除数据包、操作数据包、更新数据包标签的接口。

查看更多 →

Flink Jar作业类 Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar 包冲突，导致作业提交失败 Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 Flink Jar作业运行报错，报错信息为Authentication failed

查看更多 →

Flink作业咨询类 DLI Flink作业支持哪些数据格式和数据源？ 如何给子用户授权查看Flink作业？ Flink作业怎样设置“异常自动重启”？ Flink作业如何保存作业日志？ Flink作业管理界面对用户进行授权时提示用户不存在怎么办？ 手动停止了Flink作业，再次启

查看更多 →

Flink用户权限管理 Flink安全认证机制说明 Flink用户权限说明 创建FlinkServer权限角色 配置Flink对接Kafka安全认证 配置Flink认证和加密 父主题： 使用Flink

查看更多 →

Flink用户权限说明 访问并使用Flink WebUI进行业务操作需为用户赋予FlinkServer相关权限，Manager的admin用户没有FlinkServer的业务操作权限。 FlinkServer中应用（租户）是最大管理范围，包含集群连接管理、数据连接管理、应用管理、流表和作业管理等。

查看更多 →

Flink on Hudi开发规范 Flink流式读Hudi表规则 Flink流式读Hudi表建议 Flink流式写Hudi表规则 Flink流式写Hudi表建议 Flink on Hudi作业参数规则 Flink on Hudi作业参数建议 父主题： Flink应用开发规范

查看更多 →

使用Hive SQL时如果Flink语法不兼容则可切换Hive方言 当前Flink支持的SQL语法解析引擎有default和Hive两种，第一种为Flink原生SQL语言，第二种是Hive SQL语言。因为部分Hive语法的DDL和DML无法用Flink SQL运行，所以遇到这种

查看更多 →

资源冗余量 Flink任务运行时，建议整个集群的Yarn资源留有一定的余量。比如当前Yarn总体的资源有100Vcore，200GB，则建议Yarn的任务使用90vcore，180GB，保留10%的资源用于当部分节点故障时，任务可以自动重试恢复。 父主题： 使用Flink

查看更多 →