数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为 数据湖 工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖工厂”、“DLF”均可用于指代“数据开发”模块。 数据开发简介 使用数据开发模块，用户可进行数据管

查看更多 →

当OBS桶中触发了对象上传、下载、删除等操作事件时，OBS将事件通知发送给DIS，再通过DIS通道将通知分发给下游的大数据处理服务，如数据湖工厂（DLF）。大数据处理服务接到通知后，利用委托的OBS权限对OBS中更新的数据进行实时分析处理。您可以将通知配置为按对象名称的前缀或后缀进行筛选。

查看更多 →

2018-05-31 第二十七次正式发布。 支持对关键操作通知进行自定义配置，新增“配置关键操作通知”章节。 新增对接安全中心 新增对接数据湖工厂服务 2018-04-25 第二十六次正式发布，新增对接。 应用编排服务 。 函数服务 对话机器人服务 DDos高防服务 应用运维管理 区块链 服务

查看更多 →

当OBS桶中触发了对象上传、下载、删除等操作事件时，OBS将事件通知发送给DIS，再通过DIS通道将通知分发给下游的大数据处理服务，如数据湖工厂（DLF）。大数据处理服务接到通知后，利用委托的OBS权限对OBS中更新的数据进行实时分析处理。 OBS作为云服务事件源将产生的云服务事

查看更多 →

ReadOnlyAccess DLF DLF Admin DLF FullAccess DLF Developer DLF Development DLF Operator DLF OperationAndMaintenanceAccess DLF Viewer DLF ReadOnlyAccess

查看更多 →

Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度 CDM 的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON

查看更多 →

{region_id}.myhuaweicloud.com，具体如表1所示。 DLF数据开发V1接口：dayu-dlf.{region_id}.myhuaweicloud.com，具体如表2所示。 DLF数据开发V2接口：dayu.{region_id}.myhuaweicloud

查看更多 →

"location": "obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar", "dependFiles": ["obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar"]

查看更多 →

"Resource": [ "obs:*:*:object:mrs-obs/dlf-log-9b5bfc8e6650450d829b3ab2d01f9462", "obs:*:*:object:mrs-obs/dlf-log-9b5bfc8e6650450d829b3ab2d01f9462/*"

查看更多 →

"ei_dlf_l00341563", "task_type": 2, "update_type": 1 } ] } 失败响应 HTTP状态码 400 { "error_code": "DLF.3051"

查看更多 →

cation/octet-stream，需要解析转化为一个文件，可以参考解析响应消息体中的流样例代码。响应是一个压缩文件，文件名称格式是DLF_All_DataConnections.zip，压缩文件里面的文件目录如下： connections ├─{dwsConnection}

查看更多 →

删除作业 功能介绍 本接口用于删除DLF作业，调度中的作业不允许删除，若要删除调度中的作业，请先停止该作业。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。 URI URI格式 DELETE /v1/{project_id}/jobs/{job_name}

查看更多 →

空即可。 服务接入点 配置待迁移元数据服务接入点。 “数据源类型”为“DLF”时配置该参数。此外还需配置以下参数： Access Key：联系DLF服务运维人员获取AK信息。 Secret Key：联系DLF服务运维人员获取SK信息。 源Catalog 待迁移元数据所属Catalog名称。

查看更多 →

"kmsKey":"cdm-dlf", "agentName":"cdm-donotdelete", "sslEnable":false } } 失败响应 HTTP状态码 400 { "error_code":"DLF.6322", "error_msg":"The

查看更多 →

数据）的特征。数据湖保留了数据的原格式，不对数据进行清洗、加工。对出现数据资产多源异构的场景需要整合处理，并进行数据资产注册。 数据湖工厂 数据湖工厂（Data lake Factory）提供一站式的大数据开发环境，全托管的大数据调度能力。用户可进行数据建模、数据集成、脚本开发、

查看更多 →

批量导出作业 功能介绍 此接口可以批量导出DLF作业定义，包括作业依赖的脚本和CDM作业定义。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/batch-export 参数说明 表1

查看更多 →

"password":"*********", "kmsKey":"cdm-dlf", "agentName":"cdm-donotdelete", "sslEnable":false

查看更多 →

633aabc9505/connections/import { "path":"obs://00zyx/2019-07-02/DLF_All_DataConnections.zip", "sameNamePolicy":"OVERWRITE", "params":[

查看更多 →

参数 是否必选 参数类型 描述 datasource_type 是 String 数据源类型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS _RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYS

查看更多 →

参数 是否必选 参数类型 描述 datasource_type 是 String 数据源类型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYS

查看更多 →

MetaDataMigrationParameter 参数 参数类型 描述 datasource_type String 数据源类型： ALIYUN_DLF代表Data Lake Formation DLF、 MRS_RDS_FOR_MYSQL代表MRS云数据库RDS(for MySQL)、 OPEN_FOR_MYS

查看更多 →