apply(new UDFWindowFunction) 当一个数据到来时，会被分配到20/5=4个不同的窗口中，即数据在内存中保存了4份。当窗口大小/滑动周期非常大时，冗余现象非常严重。 图1 窗口原始结构示例 假设一个数据在102秒时到来，它将会被分配到[85, 105)、[90,

查看更多 →

实施步骤 数据接入 设备管理 模型管理 规则引擎 报警中心 数据服务 实时监视

查看更多 →

Flink作业重启后，如何保证不丢失数据？ DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。 为了避免系统故障导致作业异常自动重启后，丢失数据： 对于Flink SQL作业，您可以

查看更多 →

导出Flink作业 功能介绍 该API用于导出Flink作业数据。 调试 您可以在 API Explorer 中调试该接口。 URI URI格式 POST /v1.0/{project_id}/streaming/jobs/export 参数说明 表1 URI参数说明 参数名称 是否必选

查看更多 →

Flink故障排除 使用不同用户执行yarn-session创建Flink集群失败 使用Flink过程中，具有两个相同权限用户testuser和bdpuser。使用用户testuser创建Flink集群正常，但是切换至bdpuser用户创建Fllink集群时，执行yarn-session

查看更多 →

DLI Flink Job 功能 DLI Flink Job节点用于创建和启动作业，或者查询DLI作业是否正在运行，实现实时流式大数据分析。 DLI Flink流式作业提交到DLI之后，若处于运行中的状态，则认为节点执行成功。若作业配置了周期调度，则会周期检查该Flink作业是否

查看更多 →

MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程，请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。

查看更多 →

管理Flink作业 查看Flink作业详情 设置Flink作业优先级 开启Flink作业动态扩缩容 查询Flink作业日志 Flink作业常用操作 父主题： 使用DLI提交Flink作业

查看更多 →

接口，支持将limit和where条件下推到数据库执行。 使用DWS-Connector做结果表时，SQL语法格式可能在不同Flink环境下有细微差异，具体以事件环境格式为准。 详情请参见做源表、做结果表和做维表。 父主题： Flink SQL作业类型

查看更多 →

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

查看更多 →

Connect，实时上报车位状态信息和车辆出入信息。 设备上报的数据经规则引擎转发到消息集成的Topic上存储。 通过数据集成任务把Topic中的停车场数据实时写入停车场管理系统的数据库中，用于车位状态监测和停车计费，并可在IOC大屏上显示。 通过数据API把数据库中的车位状态数据开放给第三方应用，供车主、城市管理者了解停车场车位情况。

查看更多 →

VPC链接 单击“我的数据”>“新建数据连接”，填写相关值，单击“确定”（名称支持数字、字母、中文、_（下划线）、-（中划线），长度1-32位）。 图31 新建数据连接 具体配置方法可参考 DLV 开发大屏。单击“我的大屏”>“新建大屏”，选择空白模板，填写大屏名称并创建大屏。 图32 新建数据连接

查看更多 →

数据转发至华为云服务 数据转发至DIS 数据转发至RocketMQ 数据转发至GeminiDB Influx 数据转发至Kafka存储 数据转发至FunctionGraph 函数工作流 数据转发至MySQL存储 数据转发至OBS长期存储 数据转发至 BCS 可信上链 数据转发至MongoDB存储

查看更多 →

Flink常见问题 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Gabage Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀。

查看更多 →

设备接入服务 如何获取设备数据？ 全新升级后的设备接入服务获取设备数据，需要通过规则引擎，将数据转发至其他服务获取。例如转发至OBS存储，转发至DIS或DMS后再发送至应用 服务器 。 父主题： 方案咨询

查看更多 →

Found问题。设置合理的消费参数避免File Not Found问题。 优化建议： 调大read.tasks。 如果有限流，调大限流参数。 调大上游compaction、archive、clean参数。 表1 参数名称 参数 是否必选 默认值 数据类型 参数说明 connector 是 无 String 读取表类型。需要填写'hudi'

查看更多 →

Flink用户权限管理 Flink安全认证机制说明 Flink用户权限说明 创建FlinkServer权限角色 配置Flink对接Kafka安全认证 配置Flink认证和加密 父主题： 使用Flink

查看更多 →

Flink用户权限说明 访问并使用Flink WebUI进行业务操作需为用户赋予FlinkServer相关权限，Manager的admin用户没有FlinkServer的业务操作权限。 FlinkServer中应用（租户）是最大管理范围，包含集群连接管理、数据连接管理、应用管理、流表和作业管理等。

查看更多 →

Flink on Hudi开发规范 Flink流式读Hudi表规则 Flink流式读Hudi表建议 Flink流式写Hudi表规则 Flink流式写Hudi表建议 Flink on Hudi作业参数规则 Flink on Hudi作业参数建议 父主题： Flink应用开发规范

查看更多 →

Flink SQL作业类型 Flink SQL概述 做源表 做结果表 做维表 父主题： dws-connector-flink

查看更多 →

调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题： Flink开发指南（普通模式）

查看更多 →