全部文档
数据治理中心 DataArts Studio
数据治理中心 DataArts Studio
本产品内“
”的所有结果
本产品内“
”的所有结果
最新动态
功能总览
产品介绍
图解数据治理中心DataArts Studio
什么是数据治理中心DataArts Studio
基本概念
产品功能
产品优势
应用场景
如何选择版本
计费说明
安全
责任共担
资产识别与管理
身份认证与访问控制
数据保护技术
审计与日志
服务韧性
监控安全风险
故障恢复
更新管理
认证证书
权限管理
权限列表
约束与限制
与其他云服务的关系
数据治理方法论
目的
面向的读者
数据治理框架
数据治理框架
数据治理模块域
数据治理各模块域之间的关系
数据治理组织架构
数据治理组织架构框架
数据治理组织职责
数据治理度量评估体系
数据治理实施方法论
数据治理度量维度
数据治理度量评分规则
华为数据治理案例
华为数据治理思考
华为数据治理实践
华为数据治理效果
新冠疫情数据治理思考
方法论产品落地
准备工作
准备工作简介
购买DataArts Studio实例
购买DataArts Studio基础包
（可选）购买DataArts Studio增量包
访问DataArts Studio实例控制台
管理工作空间
创建并管理工作空间
设置工作空间配额
（可选）修改作业日志存储路径
授权用户使用DataArts Studio
创建IAM用户并授予DataArts Studio权限
添加工作空间成员和角色
（可选）获取认证信息
快速入门
概述
入门使用者：基于电商BI报表的数据开发流程
示例场景说明
步骤1：准备工作
步骤2：数据开发
步骤3：服务退订（可选）
初级使用者：基于电影评分的数据集成与开发流程
示例场景说明
步骤1：准备工作
步骤2：数据集成
步骤3：数据开发
步骤4：服务退订（可选）
高级使用者：基于出租车出行的数据治理流程
示例场景说明
步骤1：流程设计
步骤2：准备工作
步骤3：数据集成
步骤4：元数据采集
步骤5：数据架构
步骤6：数据开发
步骤7：数据质量监控
步骤8：数据目录管理
步骤9：服务退订（可选）
入门实践
用户指南
DataArts Studio使用简介
管理控制台
标签管理
企业模式
DataArts Studio企业模式概述
企业模式业务流程
创建企业模式工作空间
管理员操作
开发者操作
部署者操作
运维者操作
管理中心组件
DataArts Studio支持的数据源
管理数据连接
新建数据连接
配置DWS数据连接
配置DLI数据连接
配置MRS Hive数据连接
配置MRS HBase数据连接
配置MRS Kafka数据连接
配置MRS Spark数据连接
配置MRS Clickhouse数据连接
配置MRS Hetu数据连接
配置MRS Impala数据连接
配置MRS Ranger数据连接
配置MRS Presto数据连接
配置MRS Doris数据连接
配置RDS数据连接
配置ORACLE数据连接
配置DIS数据连接
配置主机连接
资源迁移
配置企业模式环境隔离
使用教程
新建MRS Hive连接
新建DWS连接
新建MySQL连接
数据集成组件
数据集成概述
约束与限制
支持的数据源
支持的数据源（2.9.3.300）
支持的数据源（2.9.2.200）
支持的数据类型
管理集群
创建CDM集群
解绑/绑定集群的EIP
重启集群
删除集群
下载集群日志
查看集群基本信息/修改集群配置
管理集群标签
查看监控指标
支持的监控指标
设置告警规则
查看监控指标
管理连接
新建连接
管理驱动
管理Agent
管理集群配置
配置OBS连接
配置PostgreSQL/SQLServer连接
配置数据仓库服务（DWS）连接
配置云数据库MySQL/MySQL数据库连接
配置Oracle数据库连接
配置DLI连接
配置Hive连接
配置HBase连接
配置HDFS连接
配置FTP/SFTP连接
配置Redis连接
配置DDS连接
配置CloudTable连接
配置MongoDB连接
配置Cassandra连接
配置DIS连接
配置Kafka连接
配置DMS Kafka连接
配置云搜索服务（CSS）连接
配置Elasticsearch连接
配置达梦数据库 DM连接
配置SAP HANA连接
配置分库连接
配置MRS Hudi连接
配置MRS ClickHouse连接
配置神通（ST）连接
配置CloudTable OpenTSDB连接
管理作业
新建表/文件迁移作业
新建整库迁移作业
配置作业源端参数
配置OBS源端参数
配置HDFS源端参数
配置HBase/CloudTable源端参数
配置Hive源端参数
配置DLI源端参数
配置FTP/SFTP源端参数
配置HTTP源端参数
配置PostgreSQL/SQL Server源端参数
配置DWS源端参数
配置SAP HANA源端参数
配置MySQL源端参数
配置Oracle源端参数
配置分库源端参数
配置MongoDB/DDS源端参数
配置Redis源端参数
配置DIS源端参数
配置Kafka/DMS Kafka源端参数
配置Elasticsearch/云搜索服务源端参数
配置OpenTSDB源端参数
配置MRS Hudi源端参数
配置MRS ClickHouse源端参数
配置神通（ST）源端参数
配置达梦数据库 DM源端参数
配置作业目的端参数
配置OBS目的端参数
配置HDFS目的端参数
配置HBase/CloudTable目的端参数
配置Hive目的端参数
配置MySQL/SQL Server/PostgreSQL目的端参数
配置Oracle目的端参数
配置DWS目的端参数
配置DDS目的端参数
配置Redis目的端参数
配置Elasticsearch/云搜索服务（CSS）目的端参数
配置DLI目的端参数
配置OpenTSDB目的端参数
配置MRS Hudi目的端参数
配置MRS ClickHouse目的端参数
配置MongoDB目的端参数
配置字段映射
配置定时任务
作业配置管理
管理单个作业
批量管理作业
优化迁移性能
迁移作业原理
性能调优
参考：作业分片维度
参考：CDM性能实测数据
常见错误码参考
关键操作指导
增量迁移原理介绍
文件增量迁移
关系数据库增量迁移
HBase/CloudTable增量迁移
MongoDB/DDS增量迁移
时间宏变量使用解析
事务模式迁移
迁移文件时加解密
MD5校验文件一致性
字段转换器配置指导
新增字段操作指导
指定文件名迁移
正则表达式分隔半结构化文本
记录数据迁移入库时间
文件格式介绍
不支持数据类型转换规避指导
自动建表原理介绍
使用教程
创建MRS Hive连接器
创建MySQL连接器
MySQL数据迁移到MRS Hive分区表
MySQL数据迁移到OBS
MySQL数据迁移到DWS
MySQL整库迁移到RDS服务
Oracle数据迁移到云搜索服务
Oracle数据迁移到DWS
OBS数据迁移到云搜索服务
OBS数据迁移到DLI服务
MRS HDFS数据迁移到OBS
Elasticsearch整库迁移到云搜索服务
更多案例实践
数据架构组件
数据架构概述
数据架构使用流程
使用前准备
添加审核人
管理配置中心
数据调研
流程设计
主题设计
标准设计
新建码表
新建数据标准
模型设计
关系建模
逻辑模型设计
物理模型设计
维度建模
新建维度
管理维度表
新建事实表
指标设计
业务指标
技术指标
新建原子指标
新建衍生指标
新建复合指标
新建时间限定
数据集市建设
新建汇总表
通用操作
逆向数据库（关系建模）
逆向数据库（维度建模）
导入导出
关联质量规则
查看表
批量修改主题/目录/流程
审核中心
使用教程
数据架构示例
数据开发组件
数据开发概述
数据管理
数据管理流程
新建数据连接
新建数据库
（可选）新建数据库模式
新建数据表
脚本开发
脚本开发流程
新建脚本
开发脚本
开发SQL脚本
开发Shell脚本
开发Python脚本
提交版本
发布脚本任务
（可选）管理脚本
复制脚本
复制名称与重命名脚本
移动脚本/脚本目录
导出导入脚本
查看脚本引用
删除脚本
解锁脚本
转移脚本责任人
批量解锁
作业开发
作业开发流程
新建作业
开发Pipeline作业
开发批处理单任务SQL作业
开发实时处理单任务Flink SQL作业
开发实时处理单任务Flink Jar作业
开发实时处理单任务DLI Spark作业
调度作业
提交版本
发布作业任务
（可选）管理作业
复制作业
复制名称和重命名作业
移动作业/作业目录
导出导入作业
批量配置作业
删除作业
解锁作业
查看作业依赖关系图
转移作业责任人
批量解锁
前往监控
解决方案
运行历史
运维调度
运维概览
作业监控
批作业监控
实时作业监控
实例监控
补数据监控
基线运维
基线运维概述
基线运维约束限制
基线实例
基线管理
事件管理
合理配置基线承诺时间和预警余量
通知管理
管理通知
通知周期概览
终端订阅管理
备份管理
操作历史
配置管理
配置
配置环境变量
配置OBS桶
管理作业标签
配置调度身份
配置节点并发数
配置模板
配置调度日历
配置默认项
配置任务组
管理资源
审批中心
下载中心
节点参考
节点概述
节点数据血缘
方案概述
配置数据血缘
查看数据血缘
CDM Job
DIS Stream
DIS Dump
DIS Client
Rest Client
Import GES
MRS Kafka
Kafka Client
ROMA FDI Job
DLI Flink Job
DLI SQL
DLI Spark
DWS SQL
MRS Spark SQL
MRS Hive SQL
MRS Presto SQL
MRS Spark
MRS Spark Python
MRS ClickHouse
MRS Flink Job
MRS MapReduce
CSS
Shell
RDS SQL
ETL Job
Python
ModelArts Train
Http Trigger
Create OBS
Delete OBS
OBS Manager
Open/Close Resource
Data Quality Monitor
Sub Job
For Each
SMN
Dummy
EL表达式参考
表达式概述
基础操作符
日期和时间模式
Env内嵌对象
Job内嵌对象
StringUtil内嵌对象
DateUtil内嵌对象
JSONUtil内嵌对象
Loop内嵌对象
OBSUtil内嵌对象
常用EL表达式样例合集
EL表达式使用实例
简易变量集参考
使用教程
脚本及作业中引用参数使用介绍
作业调度支持每月最后一天
配置作业调度为年调度
补数据场景使用介绍
获取SQL节点的输出结果值
查询SQL获取max值传递给CDM作业
IF条件判断教程
获取Rest Client节点返回值教程
For Each节点使用介绍
引用脚本模板和参数模板的使用介绍
开发一个Python作业
开发一个DWS SQL作业
开发一个Hive SQL作业
开发一个DLI Spark作业
开发一个MRS Flink作业
开发一个MRS Spark Python作业
更多案例实践参考
数据质量组件
业务指标监控（待下线）
业务指标监控概述
新建指标
新建规则
新建业务场景
查看业务场景实例
数据质量监控
数据质量监控概述
新建规则模板
新建质量作业
新建对账作业
查看作业实例
查看质量报告
使用教程
新建一个业务场景
新建一个质量作业
新建一个对账作业实例
数据目录组件
数据地图
数据地图简介
资产总览
数据目录
标签管理
数据权限
数据权限简介
数据目录权限
数据表权限
审批中心
数据安全
数据安全简介
数据密级
数据分类
脱敏策略
元数据采集
元数据简介
任务管理
任务监控
使用教程
开发一个增量元数据采集任务
通过数据地图查看数据血缘关系
方案概述
配置数据血缘
查看数据血缘
数据安全组件
数据安全概述
数据安全总览页面
统一权限治理
使用流程
准备工作1：授权dlg_agency委托
准备工作2：使用前检查checklist
同步用户
配置空间权限集
配置权限集
配置角色
管理成员
申请与审批权限
配置行级访问控制
启用权限应用
配置队列权限
配置空间资源权限策略
配置资源权限
查看权限报告
敏感数据治理
敏感数据简介
定义数据密级
定义数据分类
定义识别规则
定义识别规则分组
发现敏感数据
查看敏感数据分布
管控敏感数据
隐私保护管理
隐私保护简介
管理脱敏算法
管理脱敏策略
管理静态脱敏任务
管理动态脱敏策略
订阅动态脱敏策略
管理数据水印
嵌入数据水印
溯源数据水印
管理文件水印
管理动态水印策略
数据安全运营
审计数据访问日志
诊断数据安全风险
数据服务组件
数据服务概览
规格说明
开发API
准备工作
购买专享版集群
新建审核人
创建API
配置方式生成API
脚本/MyBatis方式生成API
注册API
调试API
发布API
管理API
设置API可见
停用/恢复API
下线/删除API
复制API
同步API
全量导出/导出/导入API
流量控制
调用API
云日志接入
审核中心操作说明
审计日志
如何查看审计日志
支持云审计的关键操作
管理中心操作列表
数据集成操作列表
数据架构操作列表
数据开发操作列表
数据质量操作列表
数据目录操作列表
数据服务操作列表
最佳实践
数据迁移进阶实践
增量迁移原理介绍
文件增量迁移
关系数据库增量迁移
HBase/CloudTable增量迁移
MongoDB/DDS增量迁移
时间宏变量使用解析
事务模式迁移
迁移文件时加解密
MD5校验文件一致性
字段转换器配置指导
新增字段操作指导
指定文件名迁移
正则表达式分隔半结构化文本
记录数据迁移入库时间
文件格式介绍
不支持数据类型转换规避指导
数据开发进阶实践
周期调度依赖策略
传统周期调度依赖和自然周期调度依赖对比
传统周期调度
自然周期调度
自然周期调度之同周期依赖原理
自然周期调度之上一周期依赖原理
补数据场景使用介绍
作业调度支持每月最后一天
获取SQL节点的输出结果值
IF条件判断教程
获取Rest Client节点返回值教程
For Each节点使用介绍
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
跨空间进行作业调度
跨工作空间的DataArts Studio数据搬迁
概述
管理中心数据搬迁
数据集成数据搬迁
数据架构数据搬迁
数据开发数据搬迁
数据质量数据搬迁
数据目录数据搬迁
数据安全数据搬迁
数据服务数据搬迁
如何最小化授权用户使用DataArts Studio
如何查看表行数和库大小
通过数据质量对比数据迁移前后结果
通过数据开发使用参数传递灵活调度CDM作业
通过数据开发实现数据增量迁移
通过CDM节点批量创建分表迁移作业
基于MRS Hive表构建图数据并自动导入GES
场景说明
准备工作
创建数据集成作业
开发并调度Import GES作业
分析图数据
案例：贸易数据统计与分析
场景介绍
操作流程概述
使用CDM上传数据到OBS
上传存量数据
上传增量数据
分析数据
案例：车联网大数据业务上云
场景介绍
迁移准备
CDM迁移近一个月的数据
DES迁移一个月前的历史数据
MRS中恢复HBase表
案例：搭建实时报警平台
SDK参考
SDK概述
REST API SDK参考
数据服务SDK参考
概述
SDK使用前准备
SDK调用常见错误码/错误信息
使用APP认证调用API
认证前准备
Java
Go
Python
C#
JavaScript
PHP
C++
C
Android
curl
其他编程语言
API参考
使用前必读
概述
调用说明
基本概念
终端节点Endpoint
项目ID和账号ID
实例ID和工作空间ID
约束与限制
API概览
如何调用API
构造请求
认证鉴权
返回结果
应用示例
数据集成应用示例
数据开发应用示例
数据集成API
集群管理
查询集群详情
删除集群
重启集群
启动集群
停止集群（待下线）
创建集群
查询集群列表
作业管理
查询作业
删除作业
修改作业
随机集群创建作业并执行
停止作业
指定集群创建作业
启动作业
查询作业状态
查询作业执行历史
连接管理
创建连接
查询连接
删除连接
修改连接
附：公共数据结构
连接参数说明
关系数据库连接
OBS连接
HDFS连接
HBase连接
CloudTable连接
Hive连接
FTP/SFTP连接
MongoDB连接
Redis连接
Kafka连接
DIS连接
Elasticsearch/云搜索服务(CSS)连接
DLI连接
DMS Kafka连接
源端作业参数说明
源端为关系数据库
源端为对象存储
源端为HDFS
源端为Hive
源端为HBase/CloudTable
源端为FTP/SFTP
源端为HTTP/HTTPS
源端为MongoDB/DDS
源端为Redis
源端为DIS
源端为Kafka
源端为Elasticsearch/云搜索服务
目的端作业参数说明
目的端为关系数据库
目的端为OBS
目的端为HDFS
目的端为Hive
目的端为HBase/CloudTable
目的端为DDS
目的端为Elasticsearch/云搜索服务
目的端为DLI
目的端为DIS
作业任务参数说明
数据开发API
脚本开发API
创建脚本
修改脚本内容
查询脚本信息
查询脚本列表
查询脚本实例执行结果
删除脚本
执行脚本
停止脚本实例的执行
资源管理API
创建资源
修改资源
查询资源详情
删除资源
查询资源列表
作业开发API
创建作业
修改作业
查询作业列表
查询作业详情
查询作业文件
导出作业
批量导出作业
导入作业
立即执行作业
启动作业
停止作业
删除作业
停止作业实例
重跑作业实例
查询实时作业运行状态
查询作业实例列表
查询作业实例详情
查询系统任务详情
创建补数据实例
查询补数据实例
停止补数据实例
修改作业名称
查询发布包列表
查询指定发布包详情
设置作业标签
查询告警通知记录
发布任务包
撤销任务包
查询实例运行状态
查询任务完成情况
查询指定作业的实例列表
连接管理API（待下线）
创建连接（待下线）
查询连接列表（待下线）
查询连接详情（待下线）
修改连接（待下线）
删除连接（待下线）
导出连接（待下线）
导入连接（待下线）
附录
公共消息头
解析响应消息体中的流
状态码
错误码
数据集成API错误码
数据开发错误码
常见问题
咨询与计费
区域和可用区
数据库、数据仓库、数据湖与华为智能数据湖方案
DataArts Studio和沃土是什么关系？
DataArts Studio和ROMA是什么关系？
DataArts Studio是否支持私有化部署到本地或私有云？
如何在IAM中创建细粒度权限策略？
用户已添加权限，还是无法查看工作空间？
IAM用户操作时报错“无xx权限”怎么办？
DataArts Studio的工作空间可以删除吗？
实例试用/购买成功后，可以转移到其他账号下吗？
DataArts Studio是否支持版本升级？
DataArts Studio是否支持版本降级？
如何查看DataArts Studio的版本？
购买DataArts Studio实例，选不到指定的IAM项目下面，怎么办？
DataArts Studio的会话超时时间是多少，是否支持修改？
套餐包到期未续订或按需资源欠费时，我的数据会保留吗？
如何查看套餐包的剩余时长？
DataArts Studio实例中的CDM没有计费是什么原因？
为什么会提示每日执行节点个数超过上限，应该怎么处理？
管理中心
DataArts Studio支持治理哪些数据湖？
创建数据连接需要注意哪些事项？
为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息？
为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？
创建DWS数据连接，开启SSL连接时测试连接失败？
通过代理方式创建数据连接，一个空间可以创建多个连接吗？
创建DWS连接的时候，连接方式是直接连还是通过代理连比较好？
如何将一个空间的数据开发作业和数据连接迁移到另一空间？
数据集成
CDM与其他数据迁移服务有什么区别，如何选择？
CDM有哪些优势？
CDM有哪些安全防护？
如何降低CDM使用成本？
CDM未使用数据传输功能时，是否会计费？
已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？
如何查看套餐包的剩余时长？
CDM可以跨账户使用吗？
CDM集群是否支持升级操作？
CDM迁移性能如何？
CDM不同集群规格对应并发的作业数是多少？
是否支持增量迁移？
是否支持字段转换？
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
数据源为Hive时支持哪些数据格式？
是否支持同步作业到其他集群？
是否支持批量创建作业？
是否支持批量调度作业？
如何备份CDM作业？
如果HANA集群只有部分节点和CDM集群网络互通，应该如何配置连接？
如何使用Java调用CDM的Rest API创建数据迁移作业？
如何将云下内网或第三方云上的私网与CDM连通？
CDM是否支持参数或者变量？
CDM迁移作业的抽取并发数应该如何设置？
CDM是否支持动态数据实时迁移功能？
CDM是否支持集群关机功能？
如何使用表达式方式获取当前时间？
日志提示解析日期格式失败时怎么处理？
字段映射界面无法显示所有列怎么处理？
CDM迁移数据到DWS时如何选取分布列？
迁移到DWS时出现value too long for type character varying怎么处理？
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？
Oracle迁移到DWS报错ORA-01555
MongoDB连接迁移失败时如何处理？
Hive迁移作业长时间卡住怎么办？
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
MySQL迁移时报错“JDBC连接超时”怎么办？
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶?
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”？
创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”怎么办?
新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
MySQL迁移时报错：invalid input syntax for integer: "true"
数据架构
码表和数据标准有什么关系？
关系建模和维度建模的区别？
数据架构支持哪些数据建模方法？
规范化的数据如何使用？
数据架构支持逆向数据库吗？
数据架构中的指标与数据质量的指标的区别？
为什么关系建模或维度建模修改字段后，数据库中表无变化？
表是否可配置生命周期管理？
数据开发
数据开发可以创建多少个作业，作业中的节点数是否有限制？
DataArts Studio支持自定义的Python脚本吗？
作业关联的CDM集群删除后，如何快速修复？
作业的计划时间和开始时间相差大，是什么原因？
相互依赖的几个作业，调度过程中某个作业执行失败，是否会影响后续作业？这时该如何处理？
通过DataArts Studio调度大数据服务时需要注意什么？
环境变量、作业参数、脚本参数有什么区别和联系？
打不开作业日志，返回404报错?
配置委托时获取委托列表失败如何处理？
数据开发创建数据连接，为什么选不到指定的周边资源？
配置了SMN通知，却收不到作业失败告警通知？
作业配置了周期调度，但是实例监控没有作业运行调度记录？
Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？
数据开发节点运行中报TOKEN不合法？
作业开发时，测试运行后如何查看运行日志？
月周期的作业依赖天周期的作业，为什么天周期作业还未跑完，月周期的作业已经开始运行？
执行DLI脚本，报Invalid authentication怎么办？
创建数据连接时，在代理模式下为什么选不到需要的CDM集群？
作业配置了每日调度，但是实例没有作业运行调度记录？
查看作业日志，但是日志中没有内容？
创建了2个作业，但是为什么无法建立依赖关系？
DataArts Studio执行调度时报错：提示作业没有可以提交的版本怎么办？
DataArts Studio执行调度时报错：作业中节点XXX关联的脚本没有提交的版本？
提交调度后的作业执行失败，报depend job [XXX] is not running or pause怎么办？
如何创建数据库和数据表，数据库对应的是不是数据连接?
为什么执行完HIVE任务什么结果都不显示？
在作业监控页面里的 “上次实例状态” 只有运行成功、运行失败，这是为什么？
如何创建通知配置对全量作业都进行结果监控？
数据开发的并行执行节点数是多少？
DataArts Studio是否支持修改时区？
CDM作业改名后，在数据开发中如何同步？
执行RDS SQL，报错hll不存在，在DataArts Studio可以执行成功？
创建DWS数据连接时报错提示：The account has been locaked？
作业实例取消了，日志提示：The node start execute failed, so the current node status is set to cancel.
调用数据开发接口报错，Workspace does not exists?
Postman调用接口返回结果正常，为什么测试环境调用接口的URL参数不生效？
执行Python脚本报错：Agent need to be updated？
节点状态为成功，为什么日志显示运行失败？
调用数据开发API报错Unknown Exception？
调用创建资源的API报错“资源名不合法”是什么原因？
补数据的作业实例都是成功的，为什么补数据任务失败了？
DWS数据连接可视化建表，报错提示“表已存在”，但是展开数据连接看不到该表？
调度MRS spark作业报错The throttling threshold has been reached: policy user over ratelimit,limit:60,time:1 minute.
执行Python脚本，报错UnicodeEncodeError :‘ascii' codec cant encode characters in position 63-64 : ordinal not in range ( 128 )
查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？
Shell/Python节点执行失败，后台报错session is down
请求头中参数值长度超过512个字符时，何如处理？
执行DWS SQL脚本时，提示id不存在，如何处理？
如何查看CDM作业被哪些作业进行调用？
使用python调用执行脚本的api报错：The request parameter invalid，如何处理？
数据质量
质量作业和对账作业有什么区别？
如何确认质量作业或对账作业已经阻塞？
如何手工重启阻塞的质量作业或对账作业？
怎样查看质量规则模板关联的作业？
用户在执行质量作业时提示无MRS权限怎么办？
数据目录
数据目录组件有什么用？
数据目录支持采集哪些对象的资产？
什么是数据血缘关系？
数据目录如何可视化展示数据血缘？
数据服务
数据服务SDK支持的语言？
创建API时提示代理调用失败，怎么办？
数据服务API接口，访问“测试APP”，填写了相关参数，但是后台报错要怎么处理？
使用API时报错，请问有什么办法可以解决？
API传参是否支持传递操作符？
数据服务专享版提供的API配额已满怎么解决？
数据服务专享版发布的API如何绑定公网和域名？
如何处理API对应的数据表数据量较大时，获取数据总条数比较耗时的问题？
更多文档
用户指南（吉隆坡区域）
产品介绍
什么是数据治理中心DataArts Studio
基本概念
产品功能
产品优势
应用场景
DataArts Studio权限管理
DataArts Studio权限列表
约束与限制
与其他云服务的关系
准备工作
准备工作简介
创建DataArts Studio实例
创建DataArts Studio基础包
（可选）创建DataArts Studio增量包
管理工作空间
创建并管理工作空间
（可选）修改作业日志存储路径
授权用户使用DataArts Studio
创建IAM用户并授予DataArts Studio权限
添加工作空间成员和角色
（可选）获取认证信息
用户指南
使用DataArts Studio前的准备
管理中心
DataArts Studio支持的数据源
创建数据连接
资源迁移
使用教程
新建MRS Hive连接
新建DWS连接
新建MySQL连接
数据集成
数据集成概述
约束与限制
支持的数据源
管理集群
创建CDM集群
解绑/绑定集群的EIP
重启集群
删除集群
下载集群日志
查看集群基本信息/修改集群配置
查看监控指标
支持的监控指标
设置告警规则
查看监控指标
管理连接
新建连接
管理驱动
管理Agent
管理集群配置
配置常见关系数据库连接
配置分库连接
配置MYCAT连接
配置达梦（DM）数据库连接
配置MySQL数据库连接
配置Oracle数据库连接
配置DLI连接
配置Hive连接
配置HBase连接
配置HDFS连接
配置OBS连接
配置FTP/SFTP连接
配置Redis/DCS连接
配置DDS连接
配置CloudTable连接
配置CloudTable OpenTSDB连接
配置MongoDB连接
配置Cassandra连接
配置Kafka连接
配置DMS Kafka连接
配置Elasticsearch/云搜索服务（CSS）连接
管理作业
新建表/文件迁移作业
新建整库迁移作业
配置作业源端参数
配置OBS源端参数
配置HDFS源端参数
配置HBase/CloudTable源端参数
配置Hive源端参数
配置DLI源端参数
配置FTP/SFTP源端参数
配置HTTP源端参数
配置常见关系数据库源端参数
配置MySQL源端参数
配置Oracle源端参数
配置分库源端参数
配置MongoDB/DDS源端参数
配置Redis源端参数
配置Kafka/DMS Kafka源端参数
配置Elasticsearch或云搜索服务源端参数
配置OpenTSDB源端参数
配置作业目的端参数
配置OBS目的端参数
配置HDFS目的端参数
配置HBase/CloudTable目的端参数
配置Hive目的端参数
配置常见关系数据库目的端参数
配置DWS目的端参数
配置DDS目的端参数
配置DCS目的端参数
配置云搜索服务目的端参数
配置DLI目的端参数
配置OpenTSDB目的端参数
配置定时任务
作业配置管理
管理单个作业
批量管理作业
审计
支持云审计的关键操作
如何查看审计日志
使用教程
创建MRS Hive连接器
创建MySQL连接器
MySQL数据迁移到MRS Hive分区表
MySQL数据迁移到OBS
MySQL数据迁移到DWS
MySQL整库迁移到RDS服务
Oracle数据迁移到云搜索服务
Oracle数据迁移到DWS
OBS数据迁移到云搜索服务
OBS数据迁移到DLI服务
MRS HDFS数据迁移到OBS
Elasticsearch整库迁移到云搜索服务
进阶实践
增量迁移原理介绍
文件增量迁移
关系数据库增量迁移
时间宏变量使用解析
HBase/CloudTable增量迁移
事务模式迁移
迁移文件时加解密
MD5校验文件一致性
字段转换
指定文件名迁移
正则表达式分隔半结构化文本
记录数据迁移入库时间
文件格式介绍
数据开发
数据开发概述
数据管理
数据管理流程
新建数据连接
新建数据库
（可选）新建数据库模式
新建数据表
脚本开发
脚本开发流程
新建脚本
开发脚本
开发SQL脚本
开发Shell脚本
开发Python脚本
提交版本并解锁
（可选）管理脚本
复制脚本
复制名称与重命名脚本
移动脚本/脚本目录
导出导入脚本
查看脚本引用
删除脚本
迁移脚本责任人
批量解锁
作业开发
作业开发流程
新建作业
开发作业
调度作业
提交版本并解锁
（可选）管理作业
复制作业
复制名称和重命名作业
移动作业/作业目录
导出导入作业
删除作业
迁移作业责任人
批量解锁
解决方案
运行历史
运维调度
运维概览
作业监控
批作业监控
实时作业监控
实例监控
补数据监控
通知管理
管理通知
通知周期概览
备份管理
配置管理
配置
配置环境变量
配置OBS桶
管理作业标签
配置委托
配置默认项
管理资源
节点参考
节点概述
CDM Job
Rest Client
Import GES
MRS Kafka
Kafka Client
ROMA FDI Job
DLI Flink Job
DLI SQL
DLI Spark
DWS SQL
MRS Spark SQL
MRS Hive SQL
MRS Presto SQL
MRS Spark
MRS Spark Python
MRS Flink Job
MRS MapReduce
CSS
Shell
RDS SQL
ETL Job
Python
Create OBS
Delete OBS
OBS Manager
Open/Close Resource
Sub Job
For Each
SMN
Dummy
EL表达式参考
表达式概述
基础操作符
日期和时间模式
Env内嵌对象
Job内嵌对象
StringUtil内嵌对象
DateUtil内嵌对象
JSONUtil内嵌对象
Loop内嵌对象
OBSUtil内嵌对象
表达式使用示例
使用教程
作业依赖详解
IF条件判断教程
获取Rest Client算子返回值教程
For Each算子使用介绍
开发一个Python脚本
开发一个DWS SQL作业
开发一个Hive SQL作业
开发一个DLI Spark作业
开发一个MRS Flink作业
开发一个MRS Spark Python作业
更多案例实践参考
常见问题
咨询
区域
用户已添加权限，还是无法查看已有的工作空间？
DataArts Studio的工作空间可以删除吗？
实例试用成功后，可以转移到其他账号下吗？
DataArts Studio是否支持版本降级？
管理中心
创建数据连接需要注意哪些事项？
为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息？
为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？
创建DWS数据连接，开启SSL连接时测试连接失败？
通过代理方式创建数据连接，一个空间可以创建多个连接吗？
创建DWS连接的时候，连接方式是直接连还是通过代理连比较好？
如何将一个空间的数据开发作业和数据连接迁移到另一空间？
空间管理下创建的工作空间是否可以删除？
数据集成
通用类
CDM有哪些优势？
CDM有哪些安全防护？
如何降低CDM使用成本？
CDM集群是否支持升级操作？
CDM迁移性能如何？
CDM不同集群规格对应并发的作业数是多少？
功能类
是否支持增量迁移？
是否支持字段转换？
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
数据源为Hive时支持哪些数据格式？
是否支持同步作业到其他集群？
是否支持批量创建作业？
是否支持批量调度作业？
如何备份CDM作业？
如果HANA集群只有部分节点和CDM集群网络互通，应该如何配置连接？
如何使用Java调用CDM的Rest API创建数据迁移作业？
如何将云下内网或第三方云上的私网与CDM连通？
CDM迁移作业的抽取并发数应该如何设置？
CDM是否支持动态数据实时迁移功能？
故障处理类
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
Oracle迁移到DWS报错ORA-01555
MongoDB连接迁移失败时如何处理？
Hive迁移作业长时间卡住怎么办？
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
MySQL迁移时报错“JDBC连接超时”怎么办？
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶?
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”？
创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”怎么办?
新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
数据开发
数据开发可以创建多少个作业，作业中的节点数是否有限制？
作业的计划时间和开始时间相差大，是什么原因？
相互依赖的几个作业，调度过程中某个作业执行失败，是否会影响后续作业？这时该如何处理？
通过DataArts Studio调度大数据服务时需要注意什么？
环境变量、作业参数、脚本参数有什么区别和联系？
作业失败无法查看节点错误日志?
配置委托时获取委托列表失败如何处理？
每日执行节点个数超过上限，怎么排查哪些作业调度节点比较多？
数据开发创建数据连接，为什么选不到指定的周边资源？
作业配置了周期调度，但是实例监控没有作业运行调度记录？
Hive SQL和Spark SQL脚本脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？
数据开发节点运行中报TOKEN不合法？
作业开发时，测试运行后如何查看运行日志？
月周期的作业依赖天周期的作业，为什么天周期作业还未跑完，月周期的作业已经开始运行？
执行DLI脚本，报Invalid authentication怎么办？
创建数据连接时，在代理模式下为什么选不到需要的CDM集群？
作业配置了每日调度，但是实例没有作业运行调度记录？
查看作业日志，但是日志中没有内容？
创建了2个作业，但是为什么无法建立依赖关系？
DataArts Studio执行调度时报错：提示作业没有可以提交的版本怎么办？
DataArts Studio执行调度时报错：作业中节点XXX关联的脚本没有提交的版本？
提交调度后的作业执行失败，报depend job [XXX] is not running or pause怎么办？
如何创建数据库和数据表，数据库对应的是不是数据连接?
为什么执行完HIVE任务什么结果都不显示？
在作业监控页面里的 “上次实例状态” 只有运行成功、运行失败，这是为什么？
如何创建通知配置对全量作业都进行结果监控？
DataArts Studio的版本规格与并行执行节点数之间有什么关系？
启动用户、执行用户、工作空间委托、作业委托它们之间的优先级顺序是什么？
API参考（吉隆坡区域）
使用前必读
概述
调用说明
基本概念
终端节点Endpoint
项目ID和帐号ID
DataArts Studio实例ID和工作空间ID
数据开发作业ID
约束与限制
API概览
如何调用API
构造请求
认证鉴权
返回结果
应用示例
数据集成应用示例
数据开发应用示例
数据集成API
集群管理
查询集群详情
删除集群
重启集群
启动集群
停止集群
创建集群
查询集群列表
作业管理
查询作业
删除作业
修改作业
随机集群创建作业并执行
停止作业
指定集群创建作业
启动作业
查询作业状态
查询作业执行历史
连接管理
创建连接
查询连接
删除连接
修改连接
附：公共数据结构
连接参数说明
关系数据库连接
OBS连接
HDFS连接
HBase连接
CloudTable连接
Hive连接
FTP/SFTP连接
MongoDB连接
Redis/DCS连接（待下线）
Kafka连接
Elasticsearch/云搜索服务(CSS)连接
DLI连接
CloudTable OpenTSDB连接
DMS Kafka连接
源端作业参数说明
源端为关系数据库
源端为对象存储
源端为HDFS
源端为Hive
源端为HBase/CloudTable
源端为FTP/SFTP/NAS（待下线）/SFS（待下线）
源端为HTTP/HTTPS
源端为MongoDB/DDS
源端为Redis/DCS（待下线）
源端为DIS
源端为Kafka
源端为Elasticsearch/云搜索服务
源端为OpenTSDB
目的端作业参数说明
目的端为关系数据库
目的端为OBS
目的端为HDFS
目的端为Hive
目的端为HBase/CloudTable
目的端为FTP/SFTP/NAS（待下线）/SFS（待下线）
目的端为DDS
目的端为DCS
目的端为Elasticsearch/云搜索服务
目的端为DLI
目的端为DIS
目的端为OpenTSDB
作业任务参数说明
数据开发API
连接管理API
创建连接
查询连接列表
查询连接详情
编辑连接
删除连接
导出连接
脚本开发API
删除脚本
执行脚本
停止脚本实例的执行
资源管理API
删除资源
作业开发API
查询作业文件
停止作业
删除作业
停止作业实例
重试作业实例
数据结构
待下线API
创建作业
编辑作业
查询作业列表
查询作业详情
导出作业
批量导出作业
导入作业
立即执行作业
启动作业
查询实时作业运行状态
查询作业实例列表
查询作业实例详情
查询系统任务
创建脚本
修改脚本
查询脚本
查询脚本列表
查询脚本实例执行结果
创建资源
修改资源
查询资源
查询资源列表
导入连接
附录
公共消息头
状态码
错误码
数据集成API错误码
数据开发API错误码
解析响应消息体中的流
通用参考
云服务等级协议（SLA）
白皮书资源
支持区域
系统权限