数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为 数据湖 工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖

查看更多 →

从“节点库”中选择“数据集成”下的“RestClient”节点，拖拽节点如图1所示。“RestClient”节点参数配置说明请参见 “数据治理中心 DataArts Studio >用户指南>数据开发>节点> Rest Client”。 图1 重新执行作业节点配置 使用DLF时，无需进行鉴权。

查看更多 →

OBS提供的DIS通知功能，主要面向大数据场景，要求OBS与数据接入服务（DIS）及其他大数据相关服务结合使用。 仅支持华东-上海一、华北-北京四、华南-广州区域。 当OBS桶中触发了对象上传、下载、删除等操作事件时，OBS将事件通知发送给DIS，再通过DIS通道将通知分发给下游的大数据处理服务，如数据

查看更多 →

目录下有数据无法删除。 请先删除目录下数据。 400 DLF.6259 A resource with the same name already exists in the directory. 目录下已经存在同名的资源。 请检查目录下是否存在同名的资源。 400 DLF.6263

查看更多 →

是否需要重新执行任务。 以上功能，我们也可以使用数据治理中心 DataArts Studio，通过拖拽的方式完成配置。具体操作步骤如下： 登录数据治理中心 DataArts Studio管理控制台，在控制台的左侧导航栏，选择“数据开发 > 作业开发”。 在“工作区”页面的右侧，单击“新建作业”。

查看更多 →

myhuaweicloud.com，具体如表2所示。 DLF数据开发V2接口：dayu.{region_id}.myhuaweicloud.com，具体如表2所示。 DataArts Studio其他组件接口（如管理中心、数据架构、数据质量、数据目录、数据服务、数据安全、数据地图等）：dayu.{region_id}

查看更多 →

权限迁移 操作场景 在完成元数据迁移后，可以将对应元数据的权限迁移至LakeFormation，迁移成功后为元数据绑定的默认Owner将会拥有元数据的操作权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限，且已创建用于存储数据的OBS并行文件系统。 需

查看更多 →

所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar，资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2.

查看更多 →

ReadOnlyAccess DLF DLF Admin DLF FullAccess DLF Developer DLF Development DLF Operator DLF OperationAndMaintenanceAccess DLF Viewer DLF ReadOnlyAccess

查看更多 →

在E CS 上调试好的shell脚本，在DLF中shell脚本执行异常，如何处理？ 问题描述 在ECS上调试好的shell脚本，在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果： DLF脚本运行结果： 图1 脚本运行结果 解决方案

查看更多 →

所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar，资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2.

查看更多 →

Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度 CDM 的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON

查看更多 →

通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON

查看更多 →

{region_id}.myhuaweicloud.com，具体如表1所示。 DLF数据开发V1接口：dayu-dlf.{region_id}.myhuaweicloud.com，具体如表2所示。 DLF数据开发V2接口：dayu.{region_id}.myhuaweicloud

查看更多 →

"location": "obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar", "dependFiles": ["obs://dlf-test/depend1.jar","obs://dlf-test/depend2.jar"]

查看更多 →

--Flink作业资源包 wordcount --输入数据路径 obs://dlf-test/lkj_test/input/word.txt --输出数据路径 obs://dlf-test/lkj_test/output.txt 其中： obs://dlf-test/lkj_test/input/word

查看更多 →

参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 total 是 Integer 总的资源个数。

查看更多 →

参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 X-Auth-Token 否 String 使用Token认证时该字段必选，用户Token的长度要求如下：

查看更多 →

工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 表3 参数说明 参数名 是否必选 参数类型 说明 jobs 否 List<Job> 作业信息，参考表4 scripts 否 List<Script> 脚本信息，表5 表4 job字段数据结构说明 参数名

查看更多 →

工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 响应消息的Content-Type是application/octet-stream，需要解析转化为一个文件，可以参考解析响应消息体中的流样例代码。响应是一个压缩文件，文件名称格式DLF_{job_name}

查看更多 →

如何查看表行数和库大小 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情可参考本实践。 通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要，数据对账的能力是

查看更多 →