数据湖工厂 DLF
数据湖工厂 DLF
- 最新动态
- 产品介绍
-
用户指南
- 环境准备
- IAM权限管理
- 数据管理
- 数据集成
- 数据开发
- 解决方案
- 运维调度
- 配置管理
- 配置
- 使用教程
-
参考
-
节点
- 节点概述
- CDM Job
- DIS Stream
- DIS Dump
- DIS Client
- Rest Client
- Import GES
- MRS Kafka
- Kafka Client
- CS Job
- DLI SQL
- DLI Spark
- DWS SQL
- MRS SparkSQL
- MRS Hive SQL
- MRS Presto SQL
- MRS Spark
- MRS Spark Python
- MRS Flink Job
- MRS MapReduce
- CSS
- Shell
- RDS SQL
- ETL Job
- OCR
- Create OBS
- Delete OBS
- OBS Manager
- Open/Close Resource
- Data Quality Monitor
- Sub Job
- SMN
- Dummy
- For Each
- 表达式
-
节点
- 修订记录
- API参考
- 常见问题
- 产品术语
- 通用参考
链接复制成功!
新建作业
作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。开发作业前请先新建作业。
新建目录(可选)
如果已存在可用的目录,可以不用新建目录。
- 登录DLF管理控制台。
- 在数据开发模块控制台的左侧导航栏,选择“数据开发 > 作业开发”。
- 在作业目录中,右键单击目录名称,选择“新建目录”。
- 在弹出的“新建目录”页面,配置如表1所示的参数。
- 单击“确定”,新建目录。
新建作业
默认作业的最大配额是10000,请确保当前作业的数量未达到最大配额。
- 在数据开发模块控制台的左侧导航栏,选择“数据开发 > 作业开发”。
- 新建作业的方式有如下两种:
方式一:在“右侧区域”页面的右侧,单击“新建作业”。
方式二:在脚本目录中,右键单击目录名称,选择“新建作业”。
- 在弹出的“新建作业”页面,配置如表2所示的参数。
表2 作业参数 参数
说明
作业名称
自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。
作业类型
选择作业的类型。
- 批处理:按调度计划定期处理批量数据,主要用于实时性要求低的场景。
- 实时处理:处理实时的连续数据,主要用于实时性要求高的场景。
创建方式
选择作业的创建方式。
- 创建空作业:创建一个空的作业。
- 基于模板创建:使用数据开发模块提供的模板来创建。
选择目录
选择作业所属的目录,默认为根目录。
作业责任人
填写该作业的责任人。
作业优先级
选择作业的优先级,提供高、中、低三个等级。
日志路径
选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。
- 单击“确定”,创建作业。
父主题: 作业开发