作业开发 作业开发概述 新建作业 编排作业 保存作业 父主题： 实时分析

查看更多 →

作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务 MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务 DLI Spark作业 调度作业 提交版本 发布作业任务 （可选）管理作业

查看更多 →

建议每个画布中的作业算子不超过20个 按质量作业创建调度作业画布 质量作业普遍执行耗时比较长，为了不影响整体的作业，故单独创建质量作业。 将20个质量作业放在一个画布上，使用Dummy空算子进行作业间的关联。 每个作业使用作业质量算子，每个算子关联对应的质量作业。 建议每个画布中的作业算子不超过20个。

查看更多 →

近更新的作业。 作业开发支持细粒度权限管控，在数据安全模块对数据开发作业目录权限管控策略进行配置。 支持单击“基线链路”按钮，可以查看作业所属的基线链路信息。如果作业没有关联基线，则按钮置灰。 开发作业前，您可以通过图1了解数据开发模块作业开发的基本流程。 图1 作业开发流程 新

查看更多 →

集成作业开发 集成作业包含离线处理作业和实时处理作业，操作入口在数据开发界面。 新建集成作业的方式有如下两种： 方式一：在“作业开发”界面中，单击“新建集成作业”。 图1 新建集成作业（方式一） 方式二：在作业目录中，右键单击目录名称，选择“新建集成作业”。 图2 新建集成作业（方式二）

查看更多 →

作业开发概述 作业开发主要包括如下功能： 新建作业 编排作业 保存作业 父主题： 作业开发

查看更多 →

作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题： 数据开发API（V1）

查看更多 →

作业开发API 创建补 数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 重跑作业实例 父主题： 数据开发API（V2）

查看更多 →

1.12版本的作业支持开启动态扩缩容。 使用须知 在Flink作业进行动态扩缩容时如果队列资源被抢占，剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。 在Flink作业进行动态扩缩时后台作业需要停止继而从savepoint恢复，因此未恢复成功前，作业无法处理数据。

查看更多 →

Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？

查看更多 →

的插入 SQL作业运行慢如何定位 怎样查看DLI SQL日志？ 怎样查看DLI的执行SQL记录？ 执行SQL作业时产生数据倾斜怎么办？ SQL作业中存在join操作，因为自动广播导致内存不足，作业一直运行中 为什么SQL作业一直处于“提交中”？ 父主题： SQL作业类

查看更多 →

过这种方式帮助用户实现功能扩展。创建 自定义镜像 请参考使用自定义镜像增强作业运行环境。 DLI元数据是SQL作业、Spark作业场景开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型，可以在运行时定义数据结构，不需要事先定义元数据。 定义您的数据

查看更多 →

开发Pipeline作业 对已新建的作业进行开发和配置。 开发Pipeline模式的批处理作业和实时处理作业，请您参考编排作业节点、配置作业基本信息、配置作业参数和调测并保存作业章节。 前提条件 已创建作业，详情请参见新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业

查看更多 →

。 单击创建的数据预处理作业后的开发按钮，进入作业开发页面。然后单击左上角的“关联历史作业”，在弹窗中选择训练数据的预处理作业后，单击“保存”。 图9 关联历史作业 系统提示关联成功，则说明这两个数据集的字段及属性一致、完成校验，并已将训练数据预处理作业的预处理方法成功关联应用。

查看更多 →

作业。 本样例演示通过一个TPC-H样例模板开发并提交SQL作业的基本流程： 操作步骤 登录DLI管理控制台。 在DLI管理控制台，选择“作业模板 > SQL模板”。 在“tpchQuery”下找到适合您业务场景的样例模板，单击操作列的“执行”进入SQL编辑器页面。 在SQL编辑

查看更多 →

流生态作业开发指引 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的 数据湖探索 。 数据湖 探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态

查看更多 →

开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通 弹性云服务器 ，并创建E CS ，ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像，并且使用ECS自带

查看更多 →

Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录中，右键单击目录名称，选择“新建作业”。 选择作业类型和模式。“作业类型”选择“实时处理”，“模式”选择“单任务-Flink JAR”。其他参数按照实际进行配置即可。

查看更多 →

入数据开发页面。 创建一个数据开发批处理作业，作业名称可以命名为“import_ges”。 图2 新建作业 在作业开发页面，拖动1个Dummy节点、8个 CDM Job节点、和2个Import GES节点到画布中，选中连线图标并拖动，编排图3所示的作业。 其中Dummy节点不执行任何操作，只作为起始点的标识。CDM

查看更多 →

OpenSource SQL作业开发 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导（异常自动重启）

查看更多 →

SQL作业开发指南 使用Spark SQL作业分析OBS数据 在 DataArts Studio 开发DLI SQL作业 在Spark SQL作业中使用UDF 在Spark SQL作业中使用UDTF 在Spark SQL作业中使用UDAF

查看更多 →