作业开发 作业开发概述 新建作业 编排作业 保存作业 父主题： 实时分析

查看更多 →

作业开发 Spark如何将数据写入到 DLI 表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？

查看更多 →

作业开发 作业开发流程 新建作业 开发Pipeline作业 开发批处理单任务SQL作业 开发实时处理单任务 MRS Flink SQL作业 开发实时处理单任务MRS Flink Jar作业 开发实时处理单任务DLI Spark作业 调度作业 提交版本 发布作业任务 （可选）管理作业

查看更多 →

建议每个画布中的作业算子不超过20个 按质量作业创建调度作业画布 质量作业普遍执行耗时比较长，为了不影响整体的作业，故单独创建质量作业。 将20个质量作业放在一个画布上，使用Dummy空算子进行作业间的关联。 每个作业使用作业质量算子，每个算子关联对应的质量作业。 建议每个画布中的作业算子不超过20个。

查看更多 →

作业开发 如何合并小文件 DLI如何访问OBS桶中的数据 创建OBS表时正确指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 如何将一个区域中的DLI表数据同步到另一个区域中？ SQL作业如何指定表的部分字段进行表数据的插入 怎样删除表数据？

查看更多 →

近更新的作业。 开发作业前，您可以通过图1了解数据开发模块作业开发的基本流程。 图1 作业开发流程 新建作业：当前提供两种作业类型：批处理和实时处理，分别应用于批量数据处理和实时连接性数据处理，其中批处理作业还支持Pipeline和单节点作业两种模式，具体请参见新建作业。 开发作

查看更多 →

作业开发概述 作业开发主要包括如下功能： 新建作业 编排作业 保存作业 父主题： 作业开发

查看更多 →

作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题： 数据开发API（V1）

查看更多 →

作业开发API 创建补 数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 父主题： 数据开发API（V2）

查看更多 →

当前作业所用的计算资源，提升资源利用率。 当前仅Flink 1.12及以上版本的作业支持开启动态扩缩容设置。 使用须知 在Flink作业进行动态扩缩时如果队列资源被强占，剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。 在Flink作业进行动态扩缩时后台作业需要停

查看更多 →

DLI作业开发流程 本节内容旨在为您提供使用DLI开发作业的操作流程。 不同的开发场景根据数据源的接入方式、作业类型开发流程各不相同。 创建IAM用户并授权使用DLI 如果您是企业用户，并计划使用IAM对您所拥有的DLI资源进行精细的权限管理，请创建IAM用户并授权使用DLI。具

查看更多 →

DLI作业开发流程 本节内容旨在为您提供使用DLI开发作业的操作流程。 不同的开发场景根据数据源的接入方式、作业类型开发流程各不相同。 创建IAM用户并授权使用DLI 如果您是企业用户，并计划使用IAM对您所拥有的DLI资源进行精细的权限管理，请创建IAM用户并授权使用DLI。具

查看更多 →

开发Pipeline作业 对已新建的作业进行开发和配置。 开发Pipeline模式的批处理作业和实时处理作业，请您参考编排作业节点、配置作业基本信息、配置作业参数和调测并保存作业章节。 前提条件 已创建作业，详情请参见新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业

查看更多 →

。 单击创建的数据预处理作业后的开发按钮，进入作业开发页面。然后单击左上角的“关联历史作业”，在弹窗中选择训练数据的预处理作业后，单击“保存”。 图9 关联历史作业 系统提示关联成功，则说明这两个数据集的字段及属性一致、完成校验，并已将训练数据预处理作业的预处理方法成功关联应用。

查看更多 →

离线处理集成作业开发 离线处理集成作业概述 支持的数据源 新建离线处理集成作业 配置离线处理集成作业 配置作业源端参数 配置作业目的端参数 字段转换器配置指导 新增字段操作指导 父主题： 数据开发

查看更多 →

作业。 本样例演示通过一个TPC-H样例模板开发并提交Spark SQL作业的基本流程： 操作步骤 登录DLI管理控制台。 在DLI管理控制台，选择“作业模板”>“SQL模板”>“样例模板”，在“tpchQuery”下找到“Q1_价格摘要报告查询”样例模板，单击操作列的“执行”进入“SQL编辑器”。

查看更多 →

- SMN输出流 - 开源生态开发 表2 开源生态开发一览表 数据源 SQL 自定义作业 输入流 输出流 Apache Kafka 开源Kafka输入流 开源Kafka输出流 - 自拓展生态开发 表3 自拓展生态开发一览表 数据源 SQL 自定义作业 输入流 输出流 自拓展 自拓展输入流

查看更多 →

开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通 弹性云服务器 ，并创建E CS ，ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像，并且使用ECS自带

查看更多 →

SQL作业开发指南 使用Spark SQL作业分析OBS数据 在Spark SQL作业中使用UDF 在Spark SQL作业中使用UDTF 在Spark SQL作业中使用UDAF 使用JDBC提交Spark SQL作业

查看更多 →

入数据开发页面。 创建一个数据开发批处理作业，作业名称可以命名为“import_ges”。 图2 新建作业 在作业开发页面，拖动1个Dummy节点、8个 CDM Job节点、和2个Import GES节点到画布中，选中连线图标并拖动，编排图3所示的作业。 其中Dummy节点不执行任何操作，只作为起始点的标识。CDM

查看更多 →

实时处理集成作业开发 实时处理集成作业概述 支持的数据源 新建集成作业 配置实时处理集成作业 管理并查看监控指标 配置源端和目标端参数 自动建表映射规则 性能调优参数配置 常见问题 父主题： 数据开发

查看更多 →