从“节点库”中选择“数据集成”下的“RestClient”节点，拖拽节点如图1所示。“RestClient”节点参数配置说明请参见 “数据治理中心 DataArts Studio >用户指南>数据开发>节点> Rest Client”。 图1 重新执行作业节点配置 使用DLF时，无需进行鉴权。

查看更多 →

数据开发 项目创建 数据开发项目需为开发环境和生产环境配置数据鉴权模式，选择计算资源组，同时可以指定运行账号及运行队列。 图1 项目创建 离线任务开发 离线数据开发支持 HiveSQL、ImpalaSQL、SparkSQL、Python、Shell、Jar、Spark 等任务类型。

查看更多 →

数据开发 概述与连接管理 脚本开发 作业开发 实例管理、补数据监控及配置环境变量 父主题： 实施步骤

查看更多 →

or pause怎么办？ 如何创建数据库和数据表，数据库对应的是不是数据连接? 为什么执行完HIVE任务什么结果都不显示？ 在作业监控页面里的“上次实例状态”只有运行成功、运行失败，这是为什么？ 如何创建通知配置对全量作业都进行结果监控？ 数据开发的并行执行节点数是多少？ DataArts

查看更多 →

选择左侧导航栏的“运维数据开发 > 数据开发”，进入“数据开发”页面。 选择“数据治理 > 指标仓库”。 单击逻辑主体后的“新建”。 配置逻辑主体参数，参数说明如表1所示，配置完成后，单击“确定”。 表1 配置逻辑主体参数说明 参数类型 参数名称 参数说明 基本信息 英文名称 自定义英文名称。

查看更多 →

厂”、“DLF”均可用于指代“数据开发”模块。 数据开发简介 使用数据开发模块，用户可进行数据管理、脚本开发、作业开发、作业调度、运维监控等操作，轻松完成整个数据的处理分析流程。 图1 数据开发模块架构 数据开发的主要功能 表1 数据开发的主要功能 支持的功能 说明 数据管理 支持管理DWS、 DLI 、 MRS

查看更多 →

myhuaweicloud.com，具体如表2所示。 DLF数据开发V2接口：dayu.{region_id}.myhuaweicloud.com，具体如表2所示。 DataArts Studio其他组件接口（如管理中心、数据架构、数据质量、数据目录、数据服务、数据安全、数据地图等）：dayu.{region_id}

查看更多 →

数据开发数据搬迁 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。 约束与限制 已完成管理中心数据搬迁。 数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出，如有涉及，请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。

查看更多 →

如何查看表行数和库大小 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情可参考本实践。 通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要，数据对账的能力是

查看更多 →

在E CS 上调试好的shell脚本，在DLF中shell脚本执行异常，如何处理？ 问题现象：在ECS上调试好的shell脚本，在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果： DLF脚本运行结果： 处理方法： 添加如下两条命令：

查看更多 →

数据开发错误码 错误响应消息格式如下： { "error_code":"DLF.0100", "error_msg":"The job not found" } 错误码如表1所示。 表1 错误码 状态码 错误码 错误信息 描述 处理措施 400 DLF.0100 The job does

查看更多 →

切换至“数据源”面板，数据源连接成功后，右键数据库名称，再单击“创建数据库”按钮。 图2 创建数据库 页面右边弹出“新增数据库”页面，可根据需求填写。 数据库名称：设置数据库名称。 所有者：下拉框选择新增数据库所有者。 编码：下拉框选择新增数据库编码方式，推荐SQL_ASCII。 表空间：下拉框选择新增数据库表空间。

查看更多 →

选择“数据地图”或对应工作空间的“数据目录”，进入数据地图或数据目录页面。 图3 选择数据地图或数据目录 按下F12，打开开发者调试工具，然后选择Network功能。 图4 选择Network 在数据地图的“首页”界面或“数据搜索”界面，或者在数据目录的“总览”界面或“数据目录”

查看更多 →

数据开发组件 数据开发概述 数据管理 脚本开发 作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程

查看更多 →

数据开发设置 操作步骤 编辑器提供基础的设置，包含操作栏、快捷键和存储设置，如果没有对应的OBS桶，可以跳转去创建，具体操作请参见《 对象存储服务 控制台指南》中的创建桶章节。 登录 GaussDB (DWS)管理控制台。 在左侧导航栏中，选择“数据 > SQL编辑器”。 单击右上角的“设置”按钮，可根据需求设置相应参数。

查看更多 →

开发一个MRS Flink作业 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通 MapReduce服务 MRS，并创建MRS集群。 数据准备 下

查看更多 →

所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar，资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2.

查看更多 →

华为/华为云开发SDK 介绍华为/华为云开发SDK加速下载操作步骤。 进入开源镜像站首页。 选择“华为SDK”，筛选镜像；或者直接搜索目标镜像。 单击镜像名称或者卡片所在区域，根据弹出界面描述配置华为SDK镜像源，以HuaweiCloud SDK为例，如图1所示。 图1 配置说明

查看更多 →

通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度 CDM 的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON

查看更多 →

通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON

查看更多 →

所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar，资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2.

查看更多 →