Flink常见问题 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Gabage Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀。

查看更多 →

apply(new UDFWindowFunction) 当一个数据到来时，会被分配到20/5=4个不同的窗口中，即数据在内存中保存了4份。当窗口大小/滑动周期非常大时，冗余现象非常严重。 图1 窗口原始结构示例 假设一个数据在102秒时到来，它将会被分配到[85, 105)、[90,

查看更多 →

Flink on Hudi开发规范 Flink流式读Hudi表规则 Flink流式读Hudi表建议 Flink流式写Hudi表规则 Flink流式写Hudi表建议 Flink on Hudi作业参数规则 Flink on Hudi作业参数建议 父主题： Flink应用开发规范

查看更多 →

ta/client/Flink/flink/conf/”，此时需要将conf目录中的flink.keystore和flink.truststore文件分别放置在Flink Client以及Yarn各个节点的该绝对路径上。 相对路径：请执行如下步骤配置flink.keystore和flink

查看更多 →

调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题： Flink开发指南（安全模式）

查看更多 →

Flink Savepoints CLI介绍 概述 Savepoints在持久化存储中保存某个checkpoint，以便用户可以暂停自己的应用进行升级，并将状态设置为savepoint的状态，并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照，并将快照的

查看更多 →

调测Flink应用 编译并调测Flink应用 查看Flink应用调测结果 父主题： Flink开发指南（普通模式）

查看更多 →

Flink SQL作业类型 Flink SQL概述 做源表 做结果表 做维表 父主题： dws-connector-flink

查看更多 →

Flink Jar作业类 Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar 包冲突，导致作业提交失败 Flink Jar作业访问DWS启动异常，提示客户端连接数太多错误 Flink Jar作业运行报错，报错信息为Authentication failed

查看更多 →

Flink作业咨询类 DLI Flink作业支持哪些数据格式和数据源？ 如何给子用户授权查看Flink作业？ Flink作业怎样设置“异常自动重启”？ Flink作业如何保存作业日志？ Flink作业管理界面对用户进行授权时提示用户不存在怎么办？ 手动停止了Flink作业，再次启

查看更多 →

Flink用户权限管理 Flink安全认证机制说明 Flink用户权限说明 创建FlinkServer权限角色 配置Flink对接Kafka安全认证 配置Flink认证和加密 父主题： 使用Flink

查看更多 →

Flink用户权限说明 访问并使用Flink WebUI进行业务操作需为用户赋予FlinkServer相关权限，Manager的admin用户没有FlinkServer的业务操作权限。 FlinkServer中应用（租户）是最大管理范围，包含集群连接管理、数据连接管理、应用管理、流表和作业管理等。

查看更多 →

如果需要导入自建的作业，建议使用创建作业的功能。 具体请参考创建Flink OpenSource SQL作业，创建Flink Jar作业。 切换项目或用户时，需要对新项目或用户授权，具体请参考配置Flink作业权限。 仅支持导入与从DLI导出的Flink作业相同数据格式的作业。 在DLI管理控制台的左侧导

查看更多 →

作业包含如下监控指标。 表4 Flink作业监控指标 指标名称 说明 Flink作业数据输入速率 展示用户Flink作业的数据输入速率，供监控和调试使用。单位：条/秒。 Flink作业数据输出速率 展示用户Flink作业的数据输出速率，供监控和调试使用。单位：条/秒。 Flink作业数据输入总数 展

查看更多 →

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“ 自然语言处理 ”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

查看更多 →

UA连接点，单击“下发策略”按钮。 配置规则引擎。 配置普通设备采集上来的数据转发到MQS。 在规则引擎界面单击“创建规则”按钮，规则引擎所属应用需要与普通产品相同。 单击规则引擎名称进入规则引擎详情页面，配置数据源端和数据目的端。 数据源端选择之前创建的产品和设备。 数据目的端选择同实例下的MQS。

查看更多 →

使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集，该数据集格式要求请参见气象类数据集格式要求。 构建科学计算大模型训练数据要求 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求 模型类别

查看更多 →

Flink常见问题 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Gabage Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀。

查看更多 →

大屏 新建大屏 更新大屏 获取大屏组件列表 获取大屏指定组件数据 批量发布大屏 批量删除大屏 批量下线大屏

查看更多 →

Flink流式读Hudi表建议 设置合理的消费参数避免File Not Found问题 当下游消费Hudi过慢，上游写入端会把Hudi文件归档，导致File Not Found问题。优化建议如下： 调大read.tasks。 如果有限流则调大限流参数。 调大上游compaction、archive、clean参数。

查看更多 →

VPC链接 单击“我的数据”>“新建数据连接”，填写相关值，单击“确定”（名称支持数字、字母、中文、_（下划线）、-（中划线），长度1-32位）。 图31 新建数据连接 具体配置方法可参考 DLV 开发大屏。单击“我的大屏”>“新建大屏”，选择空白模板，填写大屏名称并创建大屏。 图32 新建数据连接

查看更多 →