数据湖工厂 DLF
数据湖工厂 DLF
- 最新动态
- 产品介绍
-
用户指南
- 环境准备
- IAM权限管理
- 数据管理
- 数据集成
- 数据开发
- 解决方案
- 运维调度
- 配置管理
- 配置
- 使用教程
-
参考
-
节点
- 节点概述
- CDM Job
- DIS Stream
- DIS Dump
- DIS Client
- Rest Client
- Import GES
- MRS Kafka
- Kafka Client
- CS Job
- DLI SQL
- DLI Spark
- DWS SQL
- MRS SparkSQL
- MRS Hive SQL
- MRS Presto SQL
- MRS Spark
- MRS Spark Python
- MRS Flink Job
- MRS MapReduce
- CSS
- Shell
- RDS SQL
- ETL Job
- OCR
- Create OBS
- Delete OBS
- OBS Manager
- Open/Close Resource
- Data Quality Monitor
- Sub Job
- SMN
- Dummy
- For Each
- 表达式
-
节点
- 修订记录
- API参考
- 常见问题
- 产品术语
- 通用参考
链接复制成功！
产品功能
数据管理
- 支持管理DWS、DLI、MRS Hive等多种数据仓库。
- 支持可视化和DDL方式管理数据库表。
数据集成
与云数据迁移服务（CDM）无缝集成，依托CDM的强力支撑，支持20多种异构数据源之间可靠高效的数据传输，轻松实现多数据源集成到数据仓库。
脚本开发
- 提供在线脚本编辑器，支持多人协作进行SQL、Shell脚本在线代码开发和调测。
- 支持使用变量和函数。
作业开发
- 提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。
- 预设数据集成、SQL、MR、Spark、Shell、机器学习等多种任务类型，通过任务间依赖完成复杂数据分析处理。
- 支持导入和导出作业。
资源管理
支持统一管理在脚本开发和作业开发使用到的file、jar、archive类型的资源。
作业调度
支持单次调度、周期调度和事件驱动调度，周期调度支持分钟、小时、天、周、月多种调度周期。
运维监控
- 支持对作业进行运行、暂停、恢复、终止等多种操作。
- 支持查看作业和其内各任务节点的运行详情。
- 支持配置多种方式报警，作业和任务发生错误时可及时通知相关人，保证业务正常运行。
