数据治理中心 DataArts Studio
数据治理中心 DataArts Studio
本产品内“
”的所有结果
本产品内“
”的所有结果
最新动态
功能总览
产品介绍
图解数据治理中心DataArts Studio
什么是数据治理中心DataArts Studio
基本概念
产品功能
产品优势
应用场景
如何选择版本
计费说明
安全
责任共担
资产识别与管理
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
权限管理
权限列表
约束与限制
与其他云服务的关系
数据治理方法论
目的
面向的读者
数据治理框架
数据治理框架
数据治理模块域
数据治理各模块域之间的关系
数据治理组织架构
数据治理组织架构框架
数据治理组织职责
数据治理度量评估体系
数据治理实施方法论
数据治理度量维度
数据治理度量评分规则
华为数据治理案例
华为数据治理思考
华为数据治理实践
华为数据治理效果
新冠疫情数据治理思考
方法论产品落地
快速入门
快速入门指引
入门使用者：基于DLI的电商BI报表数据开发流程
示例场景说明
步骤1：数据准备
步骤2：数据开发处理
步骤3：服务退订
初级使用者：基于DWS的电影评分数据集成与开发流程
示例场景说明
步骤1：数据准备
步骤2：数据集成
步骤3：数据开发处理
步骤4：服务退订
高级使用者：基于MRS Hive的出租车出行数据治理流程
示例场景说明
步骤1：流程设计
步骤2：数据准备
步骤3：数据集成
步骤4：元数据采集
步骤5：数据架构设计
步骤6：数据开发处理
步骤7：数据质量监控
步骤8：数据资产查看
步骤9：服务退订
入门实践
用户指南
DataArts Studio使用流程
购买并配置DataArts Studio
创建dlg_agency默认委托
购买DataArts Studio实例
访问DataArts Studio实例控制台
购买DataArts Studio增量包
如何选择增量包
购买批量数据迁移增量包
购买数据集成资源组增量包
购买数据服务专享集群增量包
购买作业节点调度次数/天增量包
购买技术资产数量增量包
购买数据模型数量增量包
创建并配置简单模式工作空间
创建简单模式工作空间
设置工作空间配额
（可选）修改作业日志存储路径
（可选）升级企业模式工作空间
企业模式简介
创建企业模式工作空间
企业模式角色操作
企业模式业务流程
管理员操作
开发者操作
部署者操作
运维者操作
管理DataArts Studio资源
实时集成资源组关联工作空间
授权用户使用DataArts Studio
创建IAM用户并授予DataArts Studio权限
添加工作空间成员和角色
管理中心
DataArts Studio支持的数据源
创建DataArts Studio数据连接
配置DataArts Studio数据连接参数
DWS数据连接参数说明
DLI数据连接参数说明
MRS Hive数据连接参数说明
Apache HDFS数据连接参数说明（内测）
Apache Hive数据连接参数说明（内测）
MRS Hudi数据连接参数说明（内测）
MRS HBase数据连接参数说明
MRS Spark数据连接参数说明
MRS Clickhouse数据连接参数说明
MRS Hetu数据连接参数说明
MRS Impala数据连接参数说明
MRS Kafka数据连接参数说明
MRS Presto数据连接参数说明
MRS Ranger数据连接参数说明
Doris数据连接参数说明
OpenSource ClickHouse数据连接参数说明
OBS数据连接参数说明（内测）
SFTP/FTP数据连接参数说明（内测）
RDS(MySQL)数据连接参数说明
RDS(PostgreSQL)数据连接参数说明
RDS(SQL Server)数据连接参数说明
RDS(达梦数据库DM)数据连接参数说明
RDS(SAP HANA)数据连接参数说明
Open Gauss数据连接参数说明
Oracle数据连接参数说明
GBase数据连接参数说明
MongoDB数据连接参数说明（内测）
Redis数据连接参数说明
DIS数据连接参数说明
Apache Kafka数据连接参数说明
DMS Kafka数据连接参数说明（内测）
LTS数据连接参数说明（内测）
Elasticsearch数据连接参数说明（内测）
主机连接参数说明
Rest Client数据连接参数说明
配置DataArts Studio资源迁移
配置DataArts Studio企业模式环境隔离
管理中心典型场景教程
新建DataArts Studio与MRS Hive数据湖的连接
新建DataArts Studio与DWS数据湖的连接
新建DataArts Studio与MySQL数据库的连接
数据集成（CDM作业）
数据集成概述
约束与限制
支持的数据源
支持的数据源（2.10.0.300）
支持的数据源（2.9.3.300）
支持的数据源（2.9.2.200）
支持的数据类型
创建并管理CDM集群
创建CDM集群
解绑/绑定CDM集群的EIP
重启CDM集群
删除CDM集群
下载CDM集群日志
查看并修改CDM集群配置
管理集群标签
管理并查看CDM监控指标
CDM支持的监控指标
设置CDM告警规则
查看CDM监控指标
在CDM集群中创建连接
创建CDM与数据源之间的连接
配置连接参数
OBS连接参数说明
PostgreSQL/SQLServer连接参数说明
数据仓库服务（DWS）连接参数说明
云数据库MySQL/MySQL数据库连接参数说明
Oracle数据库连接参数说明
DLI连接参数说明
Hive连接参数说明
HBase连接参数说明
HDFS连接参数说明
FTP/SFTP连接参数说明
Redis连接参数说明
DDS连接参数说明
CloudTable连接参数说明
MongoDB连接参数说明
Cassandra连接参数说明
DIS连接参数说明
Kafka连接参数说明
DMS Kafka连接参数说明
云搜索服务（CSS）连接参数说明
Elasticsearch连接参数说明
达梦数据库 DM连接参数说明
SAP HANA连接参数说明
分库连接参数说明
MRS Hudi连接参数说明
MRS ClickHouse连接参数说明
神通（ST）连接参数说明
LogHub（SLS）连接参数说明
CloudTable OpenTSDB连接参数说明
Doris连接参数说明
GBASE连接参数说明
YASHAN连接参数说明
上传CDM连接驱动
新建Hadoop集群配置
在CDM集群中创建作业
新建表/文件迁移作业
新建整库迁移作业
配置CDM作业源端参数
配置OBS源端参数
配置HDFS源端参数
配置HBase/CloudTable源端参数
配置Hive源端参数
配置DLI源端参数
配置FTP/SFTP源端参数
配置HTTP源端参数
配置PostgreSQL/SQL Server源端参数
配置DWS源端参数
配置SAP HANA源端参数
配置MySQL源端参数
配置Oracle源端参数
配置分库源端参数
配置MongoDB/DDS源端参数
配置Redis源端参数
配置DIS源端参数
配置Kafka/DMS Kafka源端参数
配置Elasticsearch/云搜索服务源端参数
配置OpenTSDB源端参数
配置MRS Hudi源端参数
配置MRS ClickHouse源端参数
配置LogHub（SLS）源端参数
配置神通（ST）源端参数
配置达梦数据库 DM源端参数
配置YASHAN源端参数
配置CDM作业目的端参数
配置OBS目的端参数
配置HDFS目的端参数
配置HBase/CloudTable目的端参数
配置Hive目的端参数
配置MySQL/SQL Server/PostgreSQL目的端参数
配置Oracle目的端参数
配置DWS目的端参数
配置DDS目的端参数
配置Redis目的端参数
配置Elasticsearch/云搜索服务（CSS）目的端参数
配置DLI目的端参数
配置OpenTSDB目的端参数
配置MRS Hudi目的端参数
配置MRS ClickHouse目的端参数
配置MongoDB目的端参数
配置CDM作业字段映射
配置CDM作业定时任务
CDM作业配置管理
管理单个CDM作业
批量管理CDM作业
时间宏变量使用解析
优化迁移性能
迁移作业原理
性能调优
参考：作业分片维度
参考：CDM性能实测数据
关键操作指导
增量迁移原理介绍
文件增量迁移
关系数据库增量迁移
HBase/CloudTable增量迁移
MongoDB/DDS增量迁移
事务模式迁移
迁移文件时加解密
MD5校验文件一致性
字段转换器配置指导
新增字段操作指导
指定文件名迁移
正则表达式分隔半结构化文本
记录数据迁移入库时间
文件格式介绍
不支持数据类型转换规避指导
自动建表原理介绍
使用教程
创建MRS Hive连接器
创建MySQL连接器
MySQL数据迁移到MRS Hive分区表
MySQL数据迁移到OBS
MySQL数据迁移到DWS
MySQL整库迁移到RDS服务
Oracle数据迁移到云搜索服务
Oracle数据迁移到DWS
OBS数据迁移到云搜索服务
OBS数据迁移到DLI服务
MRS HDFS数据迁移到OBS
Elasticsearch整库迁移到云搜索服务
常见错误码参考
数据集成（离线作业）
离线作业概述
约束限制
支持的数据源
使用前自检
网络打通
新建离线处理集成作业
配置离线处理集成作业
配置作业源端参数
配置MySQL源端参数
配置Hive源端参数
配置HDFS源端参数
配置Hudi源端参数
配置PostgreSQL源端参数
配置SQLServer源端参数
配置Oracle源端参数
配置DLI源端参数
配置OBS源端参数
配置SAP HANA源端参数
配置Kafka源端参数
配置DWS源端参数
配置FTP/SFTP源端参数
配置Doris源端参数
配置HBase 源端参数
配置ClickHouse源端参数
配置ElasticSearch源端参数
配置MongoDB源端参数
配置RestApi源端参数
配置GBase源端参数
配置Redis源端参数
配置LTS源端参数
配置作业目的端参数
配置PostgreSQL目的端参数
配置Oracle目的端参数
配置MySQL目的端参数
配置SQLServer目的端参数
配置Hudi目的端参数
配置Hive目的端参数
配置DLI目的端参数
配置ElasticSearch目的端参数
配置DWS目的端参数
配置OBS目的端参数
配置SAP HANA目的端参数
配置ClickHouse目的端参数
配置Doris目的端参数
配置HBase 目的端参数
配置MongoDB目的端参数
配置MRS Kafka目的端参数
配置GBase目的端参数
配置Redis目的端参数
配置HDFS目的端参数
字段转换器配置指导
新增字段操作指导
数据集成（实时作业）
实时作业概述
约束与限制
支持的数据源
授权使用实时数据集成
使用前自检概览
网络打通
数据库部署在本地IDC
通过云专线连通网络
通过VPN连通网络
通过公网连通网络
数据库部署在其他云
通过云专线连通网络
通过VPN连通网络
通过公网连通网络
数据库部署在华为云
同Region同租户直接连通网络
同Region不同租户通过对等连接连通网络
同Region不同租户通过企业路由器连通网络
跨Region通过云连接连通网络
新建实时集成作业
配置实时集成作业
使用教程
概览
DRS任务切换到实时Migration作业配置
MySQL同步到MRS Hudi作业配置
MySQL同步到DWS作业配置
MySQL同步到Kafka作业配置
DMS Kafka同步到OBS作业配置
Apache Kafka同步到MRS Kafka作业配置
SQLServer同步到MRS Hudi作业配置
SQLServer同步到DWS作业配置
PostgreSQL同步到DWS作业配置
PostgreSQL同步到MRS Hudi作业配置
Oracle同步到DWS作业配置
Oracle同步到MRS Hudi作业配置
Oracle同步到DMS Kafka作业配置
MongoDB同步到DWS作业配置
GaussDB集中式/分布式同步到DWS作业配置
GaussDB集中式/分布式同步到MRS Hudi作业配置
GaussDB集中式/分布式同步到DMS Kafka作业配置
实时集成任务运维
查看监控指标
查看同步日志
配置告警规则
动态修改任务配置
字段类型映射关系
MySQL与MRS Hudi字段类型映射
MySQL与DWS字段类型映射
PostgreSQL与DWS字段类型映射
PostgreSQL与MRS Hudi字段类型映射
GaussDB集中式/分布式与DWS字段类型映射
SQLServer与DWS字段类型映射
SQLServer与Hudi字段类型映射
Oracle与MRS Hudi字段类型映射
任务性能调优
性能调优概述
作业任务参数调优
MySQL到MRS Hudi参数调优
MySQL到DWS参数调优
MySQL到DMS Kafka参数调优
DMS Kafka到OBS参数调优
Apache Kafka到MRS Kafka参数调优
SQLServer到MRS Hudi参数调优
PostgreSQL到DWS参数调优
PostgreSQL到MRS Hudi参数调优
Oracle到DWS参数调优
Oracle到MRS Hudi参数调优
SQLServer到DWS参数调优
GaussDB集中式/分布式到DWS参数调优
实时迁移性能实测数据
数据架构
数据架构概述
数据架构使用流程
添加审核人
数据调研
流程设计
主题设计
逻辑建模
概念模型
逻辑模型
标准设计
新建码表
新建数据标准
命名词典
模型设计
数仓规划
关系建模
维度建模
新建维度
管理维度表
新建事实表
数据集市
指标设计
业务指标
技术指标
新建原子指标
新建衍生指标
新建复合指标
新建时间限定
通用操作
逆向数据库（关系建模）
逆向数据库（维度建模）
导入导出
关联质量规则
查看表
批量修改主题/目录/流程
管理配置中心
审核中心
使用教程
数据架构示例
数据开发
数据开发概述
数据管理
数据管理流程
新建数据连接
新建数据库
（可选）新建数据库模式
新建数据表
脚本开发
脚本开发流程
新建脚本
开发脚本
开发SQL脚本
开发Shell脚本
开发Python脚本
提交版本
发布脚本任务
（可选）管理脚本
复制脚本
复制名称与重命名脚本
移动脚本/脚本目录
导出导入脚本
查看脚本引用
删除脚本
解锁脚本
转移脚本责任人
批量解锁
作业开发
作业开发流程
新建作业
开发Pipeline作业
开发批处理单任务SQL作业
开发实时处理单任务MRS Flink SQL作业
开发实时处理单任务MRS Flink Jar作业
开发实时处理单任务DLI Spark作业
调度作业
提交版本
发布作业任务
（可选）管理作业
复制作业
复制名称和重命名作业
移动作业/作业目录
导出导入作业
批量配置作业
删除作业
解锁作业
查看作业依赖关系图
转移作业责任人
批量解锁
前往监控
复制作业链接
集成作业开发
Notebook开发
Notebook概述
创建Notebook实例
使用Notebook在线开发和调试代码
开发Launcher任务
开发Notebook任务
常用功能介绍
上传文件至JupyterLab
上传本地文件至JupyterLab
克隆GitHub开源仓库文件到JupyterLab
上传OBS文件到JupyterLab
上传远端文件至JupyterLab
下载JupyterLab文件到本地
在Notebook中安装外部库
在ModelArts的Notebook中上传下载OBS文件
Notebook任务在数据开发的Pipeline作业进行统一调度应用实践
解决方案
运行历史
运维调度
运维概览
作业监控
批作业监控
实时作业监控
实时集成作业监控
实例监控
补数据监控
通知管理
管理通知
通知周期概览
终端订阅管理
备份管理
操作历史
配置管理
配置
配置环境变量
配置OBS桶
管理作业标签
配置调度身份
配置节点并发数
配置模板
配置调度日历
配置默认项
配置任务组
Notebook管理
管理资源
审批中心
下载中心
节点参考
节点概述
节点数据血缘
数据血缘方案简介
配置数据血缘
查看数据血缘
CDM Job
Data Migration
DIS Stream
DIS Dump
DIS Client
Rest Client
Import GES
MRS Kafka
Kafka Client
ROMA FDI Job
DLI Flink Job
DLI SQL
DLI Spark
DWS SQL
MRS Spark SQL
MRS Hive SQL
MRS Presto SQL
MRS Spark
MRS Spark Python
MRS ClickHouse
MRS Impala SQL
MRS Flink Job
MRS MapReduce
CSS
Shell
RDS SQL
ETL Job
Python
DORIS SQL
ModelArts Train
Notebook
Create OBS
Delete OBS
OBS Manager
Open/Close Resource
Data Quality Monitor
Sub Job
For Each
SMN
Dummy
EL表达式参考
表达式概述
基础操作符
日期和时间模式
Env内嵌对象
Job内嵌对象
StringUtil内嵌对象
DateUtil内嵌对象
JSONUtil内嵌对象
Loop内嵌对象
OBSUtil内嵌对象
常用EL表达式样例合集
EL表达式使用实例
简易变量集参考
使用教程
脚本及作业中引用参数使用介绍
作业调度支持每月最后一天
配置作业调度为年调度
补数据场景使用介绍
获取SQL节点的输出结果值
查询SQL获取max值传递给CDM作业
IF条件判断教程
获取Rest Client节点返回值教程
For Each节点使用介绍
引用脚本模板和参数模板的使用介绍
开发一个Python作业
开发一个DWS SQL作业
开发一个Hive SQL作业
开发一个DLI Spark作业
开发一个MRS Flink作业
开发一个MRS Spark Python作业
数据质量
业务指标监控（待下线）
业务指标监控简介
新建指标
新建规则
新建业务场景
查看业务场景实例
数据质量监控
数据质量监控简介
新建数据质量规则
新建数据质量作业
新建数据对账作业
查看作业实例
查看数据质量报告
使用教程
新建一个业务场景
新建一个质量作业
新建一个对账作业实例
数据目录
查看工作空间数据地图
查看工作空间内的数据资产
查看资产总览
查看数据资产
管理资产标签
配置数据访问权限（待下线）
数据权限简介（待下线）
配置数据目录权限（待下线）
配置数据表权限（待下线）
管理审批中心（待下线）
配置数据安全策略（待下线）
数据安全简介（待下线）
新建数据密级（待下线）
新建数据分类（待下线）
配置脱敏策略（待下线）
采集数据源的元数据
元数据简介
配置元数据采集任务
查看任务监控
数据目录典型场景教程
配置增量元数据采集任务
通过数据目录查看数据血缘关系
数据血缘方案简介
配置数据血缘
查看数据血缘
数据安全
数据安全概述
授权dlg_agency委托
检查集群版本与权限
数据安全总览页面
访问权限管理
访问权限管理流程
同步IAM用户到数据源
数据权限访问控制
配置空间权限集
配置权限集
配置角色
管理成员
配置行级访问控制
同步MRS Hive和Hetu权限
申请与审批权限（部分高级特性）
管理权限有效期（高级特性）
配置建库申请（高级特性）
配置未来表权限（高级特性）
启用细粒度认证
启用账号映射（高级特性）
服务资源访问控制
配置队列权限
配置空间资源权限策略
配置目录权限（高级特性）
配置下载权限（高级特性）
Ranger权限访问控制
配置资源权限
查看权限报告
敏感数据识别
敏感数据识别流程
定义数据密级
定义数据分类
定义识别规则（部分高级特性）
定义识别规则分组
配置数据入湖检测规则（高级特性）
发现敏感数据
查看敏感数据分布
管控敏感数据
隐私保护管理
隐私保护管理简介
静态脱敏任务
管理脱敏算法
管理样本库
管理脱敏策略
管理静态脱敏任务
动态脱敏任务
管理动态脱敏策略
订阅动态脱敏策略
数据水印
嵌入数据水印
溯源数据水印
文件水印
动态水印
数据安全运营
审计数据访问日志
诊断数据安全风险
查看表权限的拥有者（表权限视图）（高级特性）
查看用户的权限（成员权限视图）（高级特性）
管理回收站
管理配置中心
数据服务
数据服务简介
规格说明
开发数据服务API
购买并管理专享版集群
新建数据服务审核人
创建API
配置方式生成API
脚本/MyBatis方式生成API
调试API
发布API
管理API
API版本管理
设置API可见
停用/恢复API
下线/删除API
复制API
同步API
全量导出/导出/导入API
编排API
编排API简介
配置入口API算子
配置条件分支算子
配置并行处理算子
配置输出处理算子
API编排典型配置
配置API调用流控策略
授权API调用
通过应用授权APP认证方式API
通过应用授权IAM认证方式API
通过白名单授权IAM认证方式API
调用数据服务API
申请API授权
通过不同方式调用API
调用API方式简介
（推荐）通过SDK调用APP认证方式的API
通过API工具调用APP认证方式的API
通过API工具调用IAM认证方式的API
通过API工具调用无认证方式的API
通过浏览器调用无认证方式的API
查看API访问日志
配置数据服务审核中心
审计日志
如何查看审计日志
支持云审计的关键操作
管理中心操作列表
数据集成操作列表
数据架构操作列表
数据开发操作列表
数据质量操作列表
数据目录操作列表
数据服务操作列表
最佳实践
DataArts Studio最佳实践汇总
数据集成（CDM作业）进阶实践
增量迁移原理介绍
文件增量迁移
关系数据库增量迁移
HBase/CloudTable增量迁移
MongoDB/DDS增量迁移
时间宏变量使用解析
事务模式迁移
迁移文件时加解密
MD5校验文件一致性
字段转换器配置指导
新增字段操作指导
指定文件名迁移
正则表达式分隔半结构化文本
记录数据迁移入库时间
文件格式介绍
不支持数据类型转换规避指导
数据开发进阶实践
周期调度依赖策略
传统周期调度依赖和自然周期调度依赖对比
传统周期调度
自然周期调度
自然周期调度之同周期依赖原理
自然周期调度之上一周期依赖原理
离散小时调度与作业最近依赖调度逻辑
补数据场景使用介绍
作业调度支持每月最后一天
获取SQL节点的输出结果值
IF条件判断教程
获取Rest Client节点返回值教程
For Each节点使用介绍
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
跨空间进行作业调度
使用Python脚本连接MRS安全集群执行Impala SQL
天任务依赖分钟任务
DataArts Studio配置数据搬迁实践
DataArts Studio配置数据搬迁简介
管理中心配置数据搬迁
数据集成配置数据搬迁
数据架构配置数据搬迁
数据开发配置数据搬迁
数据质量配置数据搬迁
数据目录配置数据搬迁
数据安全配置数据搬迁
数据服务配置数据搬迁
用户授权最小化权限实践
委托授权最小化权限实践
DataArts Studio安全最佳实践
如何查看表行数和库大小
通过数据质量对比数据迁移前后结果
DataArts Studio数据开发作业告警最佳实践
通过数据开发使用参数传递灵活调度CDM作业
通过数据开发实现数据增量迁移
通过CDM节点批量创建分表迁移作业
图数据自动化构建与分析
图数据自动化构建与分析场景介绍
操作环境与数据准备
创建数据集成作业
开发并调度Import GES作业
分析图数据
贸易数据极简上云与统计分析
贸易数据上云场景介绍
操作流程概述
使用CDM上传数据到OBS
上传存量数据
上传增量数据
分析数据
车联网大数据零丢失搬迁入湖
车联网大数搬迁入湖简介场景介绍
迁移准备
CDM迁移近一个月的数据
DES迁移一个月前的历史数据
MRS中恢复HBase表
实时报警平台搭建
SDK参考
SDK概述
REST API SDK参考
数据服务SDK参考
数据服务SDK概述
SDK使用前准备
SDK调用常见错误码/错误信息
使用APP认证调用API
认证前准备
Java
Go
Python
C#
JavaScript
PHP
C++
C
Android
curl
其他编程语言
API参考
使用前必读
概述
调用说明
基本概念
终端节点Endpoint
项目ID和账号ID
实例ID和工作空间ID
约束与限制
API概览
数据集成API概览
数据开发API（V1）概览
数据开发API（V2）概览
数据架构API概览
数据质量API概览
数据服务API概览
如何调用API
构造请求
认证鉴权
返回结果
数据集成API
集群管理
查询集群详情
删除集群
查询所有可用区
查询支持的版本
查询版本规格
查询规格详情
查询所有集群的企业项目ID
查询集群的企业项目ID
查询集群实例信息
修改集群
重启集群
启动集群
停止集群（待下线）
创建集群
查询集群列表
作业管理
查询作业
删除作业
修改作业
随机集群创建作业并执行
停止作业
指定集群创建作业
启动作业
查询作业状态
查询作业执行历史
连接管理
创建连接
查询连接
删除连接
修改连接
附：公共数据结构
连接参数说明
关系数据库连接
OBS连接
HDFS连接
HBase连接
CloudTable连接
Hive连接
FTP/SFTP连接
MongoDB连接
Redis连接
Kafka连接
DIS连接
Elasticsearch/云搜索服务(CSS)连接
DLI连接
DMS Kafka连接
源端作业参数说明
源端为关系数据库
源端为对象存储
源端为HDFS
源端为Hive
源端为HBase/CloudTable
源端为FTP/SFTP
源端为HTTP/HTTPS
源端为MongoDB/DDS
源端为Redis
源端为DIS
源端为Kafka
源端为Elasticsearch/云搜索服务
目的端作业参数说明
目的端为关系数据库
目的端为OBS
目的端为HDFS
目的端为Hive
目的端为HBase/CloudTable
目的端为DDS
目的端为Elasticsearch/云搜索服务
目的端为DLI
目的端为DIS
作业任务参数说明
数据开发API（V1）
脚本开发API
创建脚本
修改脚本内容
查询脚本信息
查询脚本列表
查询脚本实例执行结果
删除脚本
执行脚本
停止脚本实例的执行
资源管理API
创建资源
修改资源
查询资源详情
删除资源
查询资源列表
作业开发API
创建作业
修改作业
查询作业列表
查询作业详情
查询作业文件
导出作业
批量导出作业
导入作业
立即执行作业
启动作业
停止作业
删除作业
停止作业实例
重跑作业实例
查询实时作业运行状态
查询作业实例列表
查询作业实例详情
查询系统任务详情
连接管理API（待下线）
创建连接（待下线）
查询连接列表（待下线）
查询连接详情（待下线）
修改连接（待下线）
删除连接（待下线）
导出连接（待下线）
导入连接（待下线）
数据开发API（V2）
作业开发API
创建补数据实例
查询补数据实例
停止补数据实例
修改作业名称
查询发布包列表
查询指定发布包详情
设置作业标签
查询告警通知记录
发布任务包
撤销任务包
查询实例运行状态
查询任务完成情况
查询指定作业的实例列表
数据架构API
概览
总览统计信息
模型统计信息
关系建模统计信息
标准覆盖率统计信息
信息架构接口
查询多种类型的表信息
数据标准接口
获取数据标准集合
创建数据标准
删除数据标准
修改数据标准
查看数据标准详情
关联属性与数据标准
数据源接口
获取数据连接信息
码表管理接口
查询码表列表
创建码表
删除码表
修改码表
查看码表详情
查看码表字段值
编辑码表字段值
流程架构接口
获取所有流程架构目录树
查询流程架构列表
创建流程架构
修改流程架构
删除流程架构
查找流程架构详情
数据标准模板接口
查询数据标准模板
创建数据标准模板
修改数据标准模板
删除数据标准模板
初始化数据标准模板
审批管理接口
获取审批单
撤回审批单
审批单处理
批量发布
批量下线
创建审批人
查询审批人列表
删除审批人
删除实体下展
获取下展信息与已发布实体的差异
主题管理接口
查找主题列表
删除主题
创建主题
修改主题
获取主题树信息
查找主题列表(新)
删除主题(新)
创建主题(新)
修改主题(新)
主题层级接口
获取主题层级
修改或删除主题层级
目录管理
获取所有目录
创建目录
修改目录
删除目录
原子指标接口
查找原子指标
新建原子指标
更新原子指标
删除原子指标
查看原子指标详情
衍生指标接口
查找衍生指标
新建衍生指标
更新衍生指标
删除衍生指标
查看衍生指标详情
复合指标接口
查找复合指标
新建复合指标
更新复合指标
删除复合指标
查看复合指标详情
维度接口
查找维度
新建维度
更新维度
删除维度
查看维度详情
查看维度颗粒度
查看逆向维度表任务
限定接口
查找业务限定
查看限定详情
维度表接口
查找维度表
删除维度表
查看维度表详情
事实表接口
查找事实表
删除事实表
查看事实表详情
查看逆向事实表任务
汇总表接口
查找汇总表
新建汇总表
更新汇总表
删除汇总表
查看汇总表详情
业务指标接口
查询业务指标信息
创建业务指标
更新业务指标
删除业务指标
查看指标详情
查看指标维度信息
查看指标责任人信息
获取指标关联信息
版本信息接口
查找版本信息
比较版本信息
关系建模接口
查找表模型列表
创建表模型
更新表模型
删除表模型
查询关系
查看关系详情
查询模型下所有关系
查看表模型详情
获取模型
新建模型工作区
更新模型工作区
删除模型工作区
查询模型详情
查询目的表和字段(待下线)
导出模型中表的DDL语句
转换逻辑模型为物理模型
获取操作结果
导入导出接口
导入模型，关系建模，维度建模，码表，业务指标以及流程架构
导入主题
查询导入结果
导出业务数据
获取excel导出结果
自定义项接口
查询自定义项
修改自定义项
标签接口
添加标签
删除标签
质量规则接口
更新表的异常数据输出配置
清空质量规则
数仓分层接口
获取数仓分层信息
修改或删除数仓分层
预览sql接口
预览sql
数据质量API
目录接口
获取作业目录
规则模板接口
获取规则模板列表
创建规则模板
获取规则模板详情
更新规则模板
批量删除规则模板
质量作业接口
获取质量作业列表V1
获取质量作业列表
获取质量作业详情
批量删除质量作业
对账作业接口
获取对账作业列表
获取对账作业详情
批量删除对账作业
运维管理接口
获取任务执行结果列表
获取实例结果
数据质量运维管理操作处理&记录
任务实例接口
批量停止实例
质量报告接口
获取质量报告评分体系
获取质量报告概览
获取质量报告趋势
获取质量报告规则评分
获取质量报告子规则字段评分
获取质量报告技术报告数据
获取质量报告业务报告数据
导入导出接口
导出资源
获取导入导出的任务状态
下载资源任务文件
上传导入的文件接口
导入资源
数据服务API
API管理接口
创建API
查询API列表
更新API
查询API信息
批量删除API
发布API
API操作(下线/停用/恢复)
批量授权API(专享版)
调试API
API授权操作(授权/取消授权/申请/续约)
查看API发布信息(专享版)
查看API不同操作对应的实例信息(专享版)
查看API调试信息(专享版)
导入包含API信息的EXCEL文件
导出包含API信息的EXCEL文件
全量导出包含API的EXCEL压缩文件
下载EXCEL模板
申请管理接口
查询申请列表
审核申请
获取申请详情
消息管理接口
查询消息列表
处理消息
获取消息详情
授权管理接口
查询API已授权的APP
查询APP已拥有授权的API
服务目录管理接口
获取当前目录下的所有类型列表
获取当前目录下的API列表
获取当前目录下的目录列表（全量）
更新服务目录
查询服务目录
创建服务目录
批量删除目录
移动当前目录至新目录
批量移动API至新目录
通过路径获取ID
通过ID获取路径
通过目录ID获取路径对象
查询服务目录API列表
网关管理接口
获取网关实例(专享版)
获取网关分组
应用管理接口
创建应用
查询应用列表
更新应用
删除应用
查询应用详情
总览接口
查询统计用户相关的总览开发指标
查询统计用户相关的总览调用指标
查询API服务调用TopN
查询APP服务使用TopN
查询API统计数据详情
查询APP统计数据详情
查询API仪表板数据详情
查询指定API仪表板数据详情
查询APP仪表板数据详情
查询指定API应用调用TopN
集群管理接口
查询集群概览信息列表
查询集群详情信息列表
查询集群详情信息
查询数据服务集群访问日志列表
开启数据服务集群OBS日志转储
开启数据服务集群LTS日志转储
应用示例
数据集成应用示例
数据开发应用示例
附录
公共消息头
解析响应消息体中的流
状态码
错误码
数据集成API错误码
数据开发错误码
常见问题
咨询与计费
区域和可用区如何选择？
数据库、数据仓库、数据湖与华为智能数据湖方案是什么，有哪些区别和联系？
DataArts Studio和沃土是什么关系？
DataArts Studio和ROMA有什么差异？
DataArts Studio是否支持私有化部署到本地或私有云？
如何在IAM中创建细粒度权限策略？
如何实现用户的工作空间隔离，使其无法查看其他未授权工作空间？
用户已添加权限，还是无法查看工作空间？
IAM用户操作时报错“无xx权限”怎么办？
DataArts Studio的工作空间可以删除吗？
实例试用/购买成功后，可以转移到其他账号下吗？
DataArts Studio是否支持版本升级？
DataArts Studio是否支持版本降级？
如何查看DataArts Studio的版本？
购买DataArts Studio实例时为什么选不到指定的IAM项目？
DataArts Studio的会话超时时间是多少，是否支持修改？
套餐包到期未续订或按需资源欠费时，我的数据会保留吗？
如何查看套餐包的剩余时长？
DataArts Studio实例中的CDM没有计费是什么原因？
为什么会提示每日执行节点个数超过上限，应该怎么处理？
管理中心
DataArts Studio支持连接哪些数据源？
创建数据连接需要注意哪些事项？
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？
为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？
DWS数据连接开启SSL时测试连接失败怎么办？
一个空间可以创建同一数据源的多个连接吗？
连接方式应该选择API连接还是代理连接？
如何将一个空间的数据开发作业和数据连接迁移到另一空间？
数据集成（CDM作业）
CDM与其他数据迁移服务有什么区别，如何选择？
CDM有哪些优势？
CDM有哪些安全防护？
如何降低CDM使用成本？
CDM未使用数据传输功能时，是否会计费？
已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？
如何查看套餐包的剩余时长？
CDM可以跨账户使用吗？
CDM集群是否支持升级操作？
CDM迁移性能如何？
CDM不同集群规格对应并发的作业数是多少？
是否支持增量迁移？
是否支持字段转换？
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
数据源为Hive时支持哪些数据格式？
是否支持同步作业到其他集群？
是否支持批量创建作业？
是否支持批量调度作业？
如何备份CDM作业？
如何解决HANA集群只有部分节点和CDM集群网络互通？
如何使用Java调用CDM的Rest API创建数据迁移作业？
如何将云下内网或第三方云上的私网与CDM连通？
CDM是否支持参数或者变量？
CDM迁移作业的抽取并发数应该如何设置？
CDM是否支持动态数据实时迁移功能？
CDM是否支持集群关机功能？
如何使用表达式方式获取当前时间？
日志提示解析日期格式失败时怎么处理？
字段映射界面无法显示所有列怎么处理？
CDM迁移数据到DWS时如何选取分布列？
迁移到DWS时出现value too long for type character varying怎么处理？
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？
Oracle迁移到DWS报错ORA-01555
MongoDB连接迁移失败时如何处理？
Hive迁移作业长时间卡顿怎么办？
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
MySQL迁移时报错“JDBC连接超时”怎么办？
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”？
报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？
新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
MySQL迁移时报错：invalid input syntax for integer: "true"
数据集成（实时作业）
问题案例总览
数据源和migration资源组网络不通如何排查？
数据源安全组放通哪些端口可满足Migration访问？
如何配置Hudi Compaction的Spark周期任务？
DLI到Hudi实时同步中，作业开启同步新增字段后，DLI SQL show create table无法查询到新增字段怎么办？
写Hudi同步过程中报错，错误信息包含“java.lang.NumberFormatException: For input string”怎么办？
写Hudi同步过程中报错，错误信息包含“HoodieException: Duplicate fileID”怎么办？
MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？
MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？
GaussDB到DWS实时同步中，开启逻辑删除时写入DWS报错，错误信息包含“null value in column "xxx" violates not-null constraint”怎么办？
MySQL到Doris实时同步中，源端tinyint(1)类型写入报错，报错信息包含“column(xx) value is incorrect while strict mode is true, src value is xxx”怎么办？
Hudi到Doris实时同步中，源端DECIMAL类型作为主键自动建Doris表报错，错误信息包含“String Type should not be used in key column[xxx]”怎么办？
Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”怎么办？
Oracle数据源如何开通归档日志、查询权限和日志解析权限？
Oracle 在读取全量或增量数据时遇到日志解析失败，错误信息包含“DmlParserException: DML statement couldn't be parsed”，应如何处理？
PostgreSQL数据源如何手动删除复制槽？
如何增加PostgreSQL、GaussDB数据源额外权限？
PostgreSQL/GaussDB作为源端时，实时作业启动失败且报错信息包含“all replication slots are in use”怎么办？
PostgreSQL/GaussDB作为源端时，作业启动失败且报错信息包含“permission denied for function pg_ls_waldir”怎么办？
PostgreSQL/GaussDB作为源端时，作业启动失败且报错信息包含“replication slot "xxx" is already active”怎么办？
GaussDB作为源端时，增量同步过程中报错且信息包含“number of requested standby connections exceeds max_wal_senders”怎么办？
GaussDB作为源端时，增量同步过程中报错且信息包含“no gs_hba.conf entry for replication connection from host "xxxx", user "xxx", SSL off”怎么办？
MySQL增量同步过程中报错，错误信息包含“The connector is trying to read binlog starting at Struct xxx but this is no longer available on the server”怎么办？
数据架构
码表和数据标准有什么关系？
关系建模和维度建模的区别？
数据架构支持哪些数据建模方法？
规范化的数据如何使用？
数据架构支持逆向数据库吗？
数据架构中的指标与数据质量的指标的区别？
为什么关系建模或维度建模修改字段后，数据库中表无变化？
表是否可配置生命周期管理？
当公共维度（如日期/地区/供应商/产品等）被多个主题域共享时，创建维度时应该如何选择主题？
在创建原子指标的时候，只能选择事实表。对于基于维度表创建，如何理解呢？
数据开发
数据开发可以创建多少个作业，作业中的节点数是否有限制？
DataArts Studio支持自定义的Python脚本吗？
作业关联的CDM集群删除后，如何快速修复？
作业的计划时间和开始时间相差大，是什么原因？
相互依赖的几个作业，调度过程中某个作业执行失败，是否会影响后续作业？这时该如何处理？
通过DataArts Studio调度大数据服务时需要注意什么？
环境变量、作业参数、脚本参数有什么区别和联系？
打不开作业日志，返回404报错？
配置委托时获取委托列表失败如何处理？
数据开发创建数据连接，为什么选不到指定的周边资源？
配置了SMN通知，却收不到作业失败告警通知？
作业配置了周期调度，但是实例监控没有作业运行调度记录？
Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？
数据开发节点运行中报TOKEN不合法？
作业开发时，测试运行后如何查看运行日志？
月周期的作业依赖天周期的作业，为什么天周期作业还未跑完，月周期的作业已经开始运行？
执行DLI脚本，报Invalid authentication怎么办？
创建数据连接时，在代理模式下为什么选不到需要的CDM集群？
作业配置了每日调度，但是实例没有作业运行调度记录？
查看作业日志，但是日志中没有内容？
创建了2个作业，但是为什么无法建立依赖关系？
DataArts Studio执行调度时，报错提示“作业没有可以提交的版本”怎么办？
DataArts Studio执行调度时，报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办？
提交调度后的作业执行失败，报depend job [XXX] is not running or pause怎么办？
如何创建数据库和数据表，数据库对应的是不是数据连接?
为什么执行完HIVE任务什么结果都不显示？
在作业监控页面里的“上次实例状态”只有运行成功、运行失败，这是为什么？
如何创建通知配置对全量作业都进行结果监控？
数据开发的并行执行节点数是多少？
DataArts Studio是否支持修改时区？
CDM作业改名后，在数据开发中如何同步？
执行RDS SQL，报错hll不存在，在DataArts Studio可以执行成功？
创建DWS数据连接时报错提示“The account has been locked”怎么处理？
作业实例取消了，日志提示“The node start execute failed, so the current node status is set to cancel.”怎么处理？
调用数据开发接口报错“Workspace does not exists”怎么处理？
Postman调用接口返回结果正常，为什么测试环境调用接口的URL参数不生效？
执行Python脚本报错：Agent need to be updated？
节点状态为成功，为什么日志显示运行失败？
调用数据开发API报错Unknown Exception？
调用创建资源的API报错“资源名不合法”是什么原因？
补数据的作业实例都是成功的，为什么补数据任务失败了？
DWS数据连接可视化建表，报错提示“表已存在”，但是展开数据连接看不到该表？
调度MRS spark作业报错“The throttling threshold has been reached: policy user over ratelimit,limit:60,time:1 minute.”怎么处理？
执行Python脚本，报错“UnicodeEncodeError :‘ascii' codec cant encode characters in position 63-64 : ordinal not in range ( 128 )”怎么处理？
查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？
Shell/Python节点执行失败，后台报错session is down
请求头中参数值长度超过512个字符时，何如处理？
执行DWS SQL脚本时，提示id不存在，如何处理？
如何查看CDM作业被哪些作业进行调用？
使用python调用执行脚本的api报错：The request parameter invalid，如何处理？
在ECS上调试好的shell脚本，在DLF中shell脚本执行异常，如何处理？
Spark Python作业如何引用Python脚本？
在数据开发子模块中，doris SQL作业执行失败，是什么原因？
在数据开发子模块中，新建的DLI SQL脚本默认队列是一个已删除的队列，怎么处理？
数据开发中的事件驱动是否支持线下kafka？
创建作业时选择了委托配置，通过MRS API或MRS租户面方式连接的MRS集群，提交相关的MRS作业时界面会报错，如何处理？
如何在ModelArts的Notebook中上传下载OBS文件？
DataArts Studio中提示OBS相关错误，应该如何处理？（通用问题）
数据质量
质量作业和对账作业有什么区别？
如何确认质量作业或对账作业已经阻塞？
如何手工重启阻塞的质量作业或对账作业？
怎样查看质量规则模板关联的作业？
用户在执行质量作业时提示无MRS权限怎么办？
数据目录
数据目录组件有什么用？
数据目录支持采集哪些对象的资产？
什么是数据血缘关系？
数据目录如何可视化展示数据血缘？
数据安全
为什么运行静态脱敏任务后却没有按照规则脱敏？
审批DWS权限申请时提示“缺少必要的请求参数”怎么办？
启用细粒度认证时，DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办？
启用细粒度认证后，在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办？
为什么权限同步到DLI中，会提示权限不够？
数据服务
数据服务SDK支持的语言？
创建API时提示代理调用失败，怎么办？
数据服务API接口，访问“测试APP”，填写了相关参数，但是后台报错要怎么处理？
使用API时，每个子域名每天可以访问多少次？
API传参是否支持传递操作符？
工作空间内的API配额已满，无法新建API怎么解决？
数据服务专享版的API如何通过公网访问？
数据服务专享版的API怎样通过域名访问？
如何处理API对应的数据表数据量较大时，获取数据总条数比较耗时的问题？
视频帮助
更多文档
用户指南（吉隆坡区域）
产品介绍
什么是数据治理中心DataArts Studio
基本概念
产品功能
产品优势
应用场景
DataArts Studio权限管理
DataArts Studio权限列表
约束与限制
与其他云服务的关系
准备工作
准备工作简介
创建DataArts Studio实例
创建DataArts Studio基础包
（可选）创建DataArts Studio增量包
管理工作空间
创建并管理工作空间
（可选）修改作业日志存储路径
授权用户使用DataArts Studio
创建IAM用户并授予DataArts Studio权限
添加工作空间成员和角色
（可选）获取认证信息
用户指南
使用DataArts Studio前的准备
管理中心
DataArts Studio支持的数据源
创建数据连接
资源迁移
使用教程
新建MRS Hive连接
新建DWS连接
新建MySQL连接
数据集成
数据集成概述
约束与限制
支持的数据源
管理集群
创建CDM集群
解绑/绑定集群的EIP
重启集群
删除集群
下载集群日志
查看集群基本信息/修改集群配置
查看监控指标
支持的监控指标
设置告警规则
查看监控指标
管理连接
新建连接
管理驱动
管理Agent
管理集群配置
配置常见关系数据库连接
配置分库连接
配置MYCAT连接
配置达梦（DM）数据库连接
配置MySQL数据库连接
配置Oracle数据库连接
配置DLI连接
配置Hive连接
配置HBase连接
配置HDFS连接
配置OBS连接
配置FTP/SFTP连接
配置Redis/DCS连接
配置DDS连接
配置CloudTable连接
配置CloudTable OpenTSDB连接
配置MongoDB连接
配置Cassandra连接
配置Kafka连接
配置DMS Kafka连接
配置Elasticsearch/云搜索服务（CSS）连接
管理作业
新建表/文件迁移作业
新建整库迁移作业
配置作业源端参数
配置OBS源端参数
配置HDFS源端参数
配置HBase/CloudTable源端参数
配置Hive源端参数
配置DLI源端参数
配置FTP/SFTP源端参数
配置HTTP源端参数
配置常见关系数据库源端参数
配置MySQL源端参数
配置Oracle源端参数
配置分库源端参数
配置MongoDB/DDS源端参数
配置Redis源端参数
配置Kafka/DMS Kafka源端参数
配置Elasticsearch或云搜索服务源端参数
配置OpenTSDB源端参数
配置作业目的端参数
配置OBS目的端参数
配置HDFS目的端参数
配置HBase/CloudTable目的端参数
配置Hive目的端参数
配置常见关系数据库目的端参数
配置DWS目的端参数
配置DDS目的端参数
配置DCS目的端参数
配置云搜索服务目的端参数
配置DLI目的端参数
配置OpenTSDB目的端参数
配置定时任务
作业配置管理
管理单个作业
批量管理作业
审计
支持云审计的关键操作
如何查看审计日志
使用教程
创建MRS Hive连接器
创建MySQL连接器
MySQL数据迁移到MRS Hive分区表
MySQL数据迁移到OBS
MySQL数据迁移到DWS
MySQL整库迁移到RDS服务
Oracle数据迁移到云搜索服务
Oracle数据迁移到DWS
OBS数据迁移到云搜索服务
OBS数据迁移到DLI服务
MRS HDFS数据迁移到OBS
Elasticsearch整库迁移到云搜索服务
进阶实践
增量迁移原理介绍
文件增量迁移
关系数据库增量迁移
时间宏变量使用解析
HBase/CloudTable增量迁移
事务模式迁移
迁移文件时加解密
MD5校验文件一致性
字段转换
指定文件名迁移
正则表达式分隔半结构化文本
记录数据迁移入库时间
文件格式介绍
数据开发
数据开发概述
数据管理
数据管理流程
新建数据连接
新建数据库
（可选）新建数据库模式
新建数据表
脚本开发
脚本开发流程
新建脚本
开发脚本
开发SQL脚本
开发Shell脚本
开发Python脚本
提交版本并解锁
（可选）管理脚本
复制脚本
复制名称与重命名脚本
移动脚本/脚本目录
导出导入脚本
查看脚本引用
删除脚本
迁移脚本责任人
批量解锁
作业开发
作业开发流程
新建作业
开发作业
调度作业
提交版本并解锁
（可选）管理作业
复制作业
复制名称和重命名作业
移动作业/作业目录
导出导入作业
删除作业
迁移作业责任人
批量解锁
解决方案
运行历史
运维调度
运维概览
作业监控
批作业监控
实时作业监控
实例监控
补数据监控
通知管理
管理通知
通知周期概览
备份管理
配置管理
配置
配置环境变量
配置OBS桶
管理作业标签
配置委托
配置默认项
管理资源
节点参考
节点概述
CDM Job
Rest Client
Import GES
MRS Kafka
Kafka Client
ROMA FDI Job
DLI Flink Job
DLI SQL
DLI Spark
DWS SQL
MRS Spark SQL
MRS Hive SQL
MRS Presto SQL
MRS Spark
MRS Spark Python
MRS Flink Job
MRS MapReduce
CSS
Shell
RDS SQL
ETL Job
Python
Create OBS
Delete OBS
OBS Manager
Open/Close Resource
Sub Job
For Each
SMN
Dummy
EL表达式参考
表达式概述
基础操作符
日期和时间模式
Env内嵌对象
Job内嵌对象
StringUtil内嵌对象
DateUtil内嵌对象
JSONUtil内嵌对象
Loop内嵌对象
OBSUtil内嵌对象
表达式使用示例
使用教程
作业依赖详解
IF条件判断教程
获取Rest Client算子返回值教程
For Each算子使用介绍
开发一个Python脚本
开发一个DWS SQL作业
开发一个Hive SQL作业
开发一个DLI Spark作业
开发一个MRS Flink作业
开发一个MRS Spark Python作业
更多案例实践参考
常见问题
咨询
区域
用户已添加权限，还是无法查看已有的工作空间？
DataArts Studio的工作空间可以删除吗？
实例试用成功后，可以转移到其他账号下吗？
DataArts Studio是否支持版本降级？
管理中心
创建数据连接需要注意哪些事项？
为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息？
为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？
创建DWS数据连接，开启SSL连接时测试连接失败？
通过代理方式创建数据连接，一个空间可以创建多个连接吗？
创建DWS连接的时候，连接方式是直接连还是通过代理连比较好？
如何将一个空间的数据开发作业和数据连接迁移到另一空间？
空间管理下创建的工作空间是否可以删除？
数据集成
通用类
CDM有哪些优势？
CDM有哪些安全防护？
如何降低CDM使用成本？
CDM集群是否支持升级操作？
CDM迁移性能如何？
CDM不同集群规格对应并发的作业数是多少？
功能类
是否支持增量迁移？
是否支持字段转换？
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
数据源为Hive时支持哪些数据格式？
是否支持同步作业到其他集群？
是否支持批量创建作业？
是否支持批量调度作业？
如何备份CDM作业？
如果HANA集群只有部分节点和CDM集群网络互通，应该如何配置连接？
如何使用Java调用CDM的Rest API创建数据迁移作业？
如何将云下内网或第三方云上的私网与CDM连通？
CDM迁移作业的抽取并发数应该如何设置？
CDM是否支持动态数据实时迁移功能？
故障处理类
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
Oracle迁移到DWS报错ORA-01555
MongoDB连接迁移失败时如何处理？
Hive迁移作业长时间卡住怎么办？
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
MySQL迁移时报错“JDBC连接超时”怎么办？
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶?
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”？
创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”怎么办?
新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
数据开发
数据开发可以创建多少个作业，作业中的节点数是否有限制？
作业的计划时间和开始时间相差大，是什么原因？
相互依赖的几个作业，调度过程中某个作业执行失败，是否会影响后续作业？这时该如何处理？
通过DataArts Studio调度大数据服务时需要注意什么？
环境变量、作业参数、脚本参数有什么区别和联系？
作业失败无法查看节点错误日志?
配置委托时获取委托列表失败如何处理？
每日执行节点个数超过上限，怎么排查哪些作业调度节点比较多？
数据开发创建数据连接，为什么选不到指定的周边资源？
作业配置了周期调度，但是实例监控没有作业运行调度记录？
Hive SQL和Spark SQL脚本脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？
数据开发节点运行中报TOKEN不合法？
作业开发时，测试运行后如何查看运行日志？
月周期的作业依赖天周期的作业，为什么天周期作业还未跑完，月周期的作业已经开始运行？
执行DLI脚本，报Invalid authentication怎么办？
创建数据连接时，在代理模式下为什么选不到需要的CDM集群？
作业配置了每日调度，但是实例没有作业运行调度记录？
查看作业日志，但是日志中没有内容？
创建了2个作业，但是为什么无法建立依赖关系？
DataArts Studio执行调度时报错：提示作业没有可以提交的版本怎么办？
DataArts Studio执行调度时报错：作业中节点XXX关联的脚本没有提交的版本？
提交调度后的作业执行失败，报depend job [XXX] is not running or pause怎么办？
如何创建数据库和数据表，数据库对应的是不是数据连接?
为什么执行完HIVE任务什么结果都不显示？
在作业监控页面里的 “上次实例状态” 只有运行成功、运行失败，这是为什么？
如何创建通知配置对全量作业都进行结果监控？
DataArts Studio的版本规格与并行执行节点数之间有什么关系？
启动用户、执行用户、工作空间委托、作业委托它们之间的优先级顺序是什么？
API参考（吉隆坡区域）
使用前必读
概述
调用说明
基本概念
终端节点Endpoint
项目ID和帐号ID
DataArts Studio实例ID和工作空间ID
数据开发作业ID
约束与限制
API概览
如何调用API
构造请求
认证鉴权
返回结果
应用示例
数据集成应用示例
数据开发应用示例
数据集成API
集群管理
查询集群详情
删除集群
重启集群
启动集群
停止集群
创建集群
查询集群列表
作业管理
查询作业
删除作业
修改作业
随机集群创建作业并执行
停止作业
指定集群创建作业
启动作业
查询作业状态
查询作业执行历史
连接管理
创建连接
查询连接
删除连接
修改连接
附：公共数据结构
连接参数说明
关系数据库连接
OBS连接
HDFS连接
HBase连接
CloudTable连接
Hive连接
FTP/SFTP连接
MongoDB连接
Redis/DCS连接（待下线）
Kafka连接
Elasticsearch/云搜索服务(CSS)连接
DLI连接
CloudTable OpenTSDB连接
DMS Kafka连接
源端作业参数说明
源端为关系数据库
源端为对象存储
源端为HDFS
源端为Hive
源端为HBase/CloudTable
源端为FTP/SFTP/NAS（待下线）/SFS（待下线）
源端为HTTP/HTTPS
源端为MongoDB/DDS
源端为Redis/DCS（待下线）
源端为DIS
源端为Kafka
源端为Elasticsearch/云搜索服务
源端为OpenTSDB
目的端作业参数说明
目的端为关系数据库
目的端为OBS
目的端为HDFS
目的端为Hive
目的端为HBase/CloudTable
目的端为FTP/SFTP/NAS（待下线）/SFS（待下线）
目的端为DDS
目的端为DCS
目的端为Elasticsearch/云搜索服务
目的端为DLI
目的端为DIS
目的端为OpenTSDB
作业任务参数说明
数据开发API
连接管理API
创建连接
查询连接列表
查询连接详情
编辑连接
删除连接
导出连接
脚本开发API
删除脚本
执行脚本
停止脚本实例的执行
资源管理API
删除资源
作业开发API
查询作业文件
停止作业
删除作业
停止作业实例
重试作业实例
数据结构
待下线API
创建作业
编辑作业
查询作业列表
查询作业详情
导出作业
批量导出作业
导入作业
立即执行作业
启动作业
查询实时作业运行状态
查询作业实例列表
查询作业实例详情
查询系统任务
创建脚本
修改脚本
查询脚本
查询脚本列表
查询脚本实例执行结果
创建资源
修改资源
查询资源
查询资源列表
导入连接
附录
公共消息头
状态码
错误码
数据集成API错误码
数据开发API错误码
解析响应消息体中的流
通用参考
云服务等级协议（SLA）
白皮书资源
支持区域
系统权限