数据治理中心 DataArts Studio
数据治理中心 DataArts Studio
- 最新动态
- 功能总览
- 产品介绍
- 数据治理方法论
- 准备工作
- 快速入门
-
用户指南
- DataArts Studio使用流程
- 购买并配置DataArts Studio
- 授权用户使用DataArts Studio
-
管理中心
- DataArts Studio支持的数据源
- 创建DataArts Studio数据连接
-
配置DataArts Studio数据连接参数
- DWS数据连接参数说明
- DLI数据连接参数说明
- MRS Hive数据连接参数说明
- Apache Hive数据连接参数说明
- MRS HBase数据连接参数说明
- MRS Kafka数据连接参数说明
- MRS Spark数据连接参数说明
- MRS Clickhouse数据连接参数说明
- MRS Hetu数据连接参数说明
- MRS Impala数据连接参数说明
- MRS Ranger数据连接参数说明
- MRS Presto数据连接参数说明
- Doris数据连接参数说明
- OpenSource ClickHouse数据连接参数说明
- RDS数据连接参数说明
- ORACLE数据连接参数说明
- DIS数据连接参数说明
- 主机连接参数说明
- OBS数据连接参数说明
- Apache HDFS数据连接参数说明
- MRS Hudi数据连接参数说明
- Elasticsearch数据连接参数说明
- Rest Client数据连接参数说明
- DMS Kafka数据连接参数说明
- MongoDB数据连接参数说明
- SFTP/FTP数据连接参数说明
- GBase数据连接参数说明
- Redis数据连接参数说明
- SAP HANA数据连接参数说明
- LTS数据连接参数说明
- 配置DataArts Studio资源迁移
- 配置DataArts Studio企业模式环境隔离
- 管理中心典型场景教程
-
数据集成（CDM作业）
- 数据集成概述
- 约束与限制
- 支持的数据源
- 创建并管理CDM集群
-
在CDM集群中创建连接
- 创建CDM与数据源之间的连接
-
配置连接参数
- OBS连接参数说明
- PostgreSQL/SQLServer连接参数说明
- 数据仓库服务（DWS）连接参数说明
- 云数据库MySQL/MySQL数据库连接参数说明
- Oracle数据库连接参数说明
- DLI连接参数说明
- Hive连接参数说明
- HBase连接参数说明
- HDFS连接参数说明
- FTP/SFTP连接参数说明
- Redis连接参数说明
- DDS连接参数说明
- CloudTable连接参数说明
- MongoDB连接参数说明
- Cassandra连接参数说明
- DIS连接参数说明
- Kafka连接参数说明
- DMS Kafka连接参数说明
- 云搜索服务（CSS）连接参数说明
- Elasticsearch连接参数说明
- 达梦数据库 DM连接参数说明
- SAP HANA连接参数说明
- 分库连接参数说明
- MRS Hudi连接参数说明
- MRS ClickHouse连接参数说明
- 神通（ST）连接参数说明
- CloudTable OpenTSDB连接参数说明
- GBASE连接参数说明
- YASHAN连接参数说明
- 上传CDM连接驱动
- 新建Hadoop集群配置
-
在CDM集群中创建作业
- 新建表/文件迁移作业
- 新建整库迁移作业
-
配置CDM作业源端参数
- 配置OBS源端参数
- 配置HDFS源端参数
- 配置HBase/CloudTable源端参数
- 配置Hive源端参数
- 配置DLI源端参数
- 配置FTP/SFTP源端参数
- 配置HTTP源端参数
- 配置PostgreSQL/SQL Server源端参数
- 配置DWS源端参数
- 配置SAP HANA源端参数
- 配置MySQL源端参数
- 配置Oracle源端参数
- 配置分库源端参数
- 配置MongoDB/DDS源端参数
- 配置Redis源端参数
- 配置DIS源端参数
- 配置Kafka/DMS Kafka源端参数
- 配置Elasticsearch/云搜索服务源端参数
- 配置OpenTSDB源端参数
- 配置MRS Hudi源端参数
- 配置MRS ClickHouse源端参数
- 配置神通（ST）源端参数
- 配置达梦数据库 DM源端参数
- 配置YASHAN源端参数
- 配置CDM作业目的端参数
- 配置CDM作业字段映射
- 配置CDM作业定时任务
- CDM作业配置管理
- 管理单个CDM作业
- 批量管理CDM作业
- 时间宏变量使用解析
- 优化迁移性能
- 关键操作指导
- 使用教程
- 常见错误码参考
-
数据集成（离线作业）
- 离线作业概述
- 支持的数据源
- 新建离线处理集成作业
- 配置离线处理集成作业
-
配置作业源端参数
- 配置MySQL源端参数
- 配置Hive源端参数
- 配置HDFS源端参数
- 配置Hudi源端参数
- 配置PostgreSQL源端参数
- 配置SQLServer源端参数
- 配置Oracle源端参数
- 配置DLI源端参数
- 配置OBS源端参数
- 配置SAP HANA源端参数
- 配置Kafka源端参数
- 配置Rest Client源端参数
- 配置DWS源端参数
- 配置FTP/SFTP源端参数
- 配置Doris源端参数
- 配置HBase 源端参数
- 配置ClickHouse源端参数
- 配置ElasticSearch源端参数
- 配置MongoDB源端参数
- 配置RestApi源端参数
- 配置GBase源端参数
- 配置Redis源端参数
- 配置LTS源端参数
- 配置作业目的端参数
- 字段转换器配置指导
- 新增字段操作指导
- 数据集成（实时作业）
- 数据架构
- 数据指标
-
数据开发
- 数据开发概述
- 数据管理
- 脚本开发
- 作业开发
- 集成作业开发
- 解决方案
- 运行历史
- 运维调度
- 配置管理
- 审批中心
- 下载中心
-
节点参考
- 节点概述
- 节点数据血缘
- CDM Job
- Data Migration
- DIS Stream
- DIS Dump
- DIS Client
- Rest Client
- Import GES
- MRS Kafka
- Kafka Client
- ROMA FDI Job
- DLI Flink Job
- DLI SQL
- DLI Spark
- DWS SQL
- MRS Spark SQL
- MRS Hive SQL
- MRS Presto SQL
- MRS Spark
- MRS Spark Python
- MRS ClickHouse
- MRS HetuEngine
- MRS Impala SQL
- MRS Flink Job
- MRS MapReduce
- CSS
- Shell
- RDS SQL
- ETL Job
- Python
- DORIS SQL
- GBase SQL
- ModelArts Train
- OCR
- Create OBS
- Delete OBS
- OBS Manager
- Open/Close Resource
- Data Quality Monitor
- Sub Job
- For Each
- SMN
- Dummy
- EL表达式参考
- 简易变量集参考
- 使用教程
- 数据质量
- 数据目录
- 数据安全
- 数据服务
- 审计日志
- 最佳实践
-
API参考
- 使用前必读
- API概览
- 如何调用API
- 数据集成API
- 数据开发API（V1）
- 数据开发API（V2）
- 管理中心API
- 数据架构API
- 数据质量API
- 数据目录API
- 数据服务API
- 数据安全API
- 应用示例
- 附录
- SDK参考
-
常见问题
-
咨询与计费
- 区域和可用区如何选择？
- 数据库、数据仓库、数据湖与华为智能数据湖方案是什么，有哪些区别和联系？
- DataArts Studio和沃土是什么关系？
- DataArts Studio和ROMA有什么差异？
- DataArts Studio是否支持私有化部署到本地或私有云？
- 如何在IAM中创建细粒度权限策略？
- 如何实现用户的工作空间隔离，使其无法查看其他未授权工作空间？
- 用户已添加权限，还是无法查看工作空间？
- IAM用户操作时报错“无xx权限”怎么办？
- DataArts Studio的工作空间可以删除吗？
- 可以免费试用DataArts Studio吗？
- 免费试用即将到期，如何续费？
- 实例试用/购买成功后，可以转移到其他账号下吗？
- DataArts Studio是否支持版本升级？
- DataArts Studio是否支持版本降级？
- 如何查看DataArts Studio的版本？
- 购买DataArts Studio实例时为什么选不到指定的IAM项目？
- DataArts Studio的会话超时时间是多少，是否支持修改？
- 套餐包到期未续订或按需资源欠费时，我的数据会保留吗？
- 如何查看套餐包的剩余时长？
- DataArts Studio实例中的CDM没有计费是什么原因？
- 为什么会提示每日执行节点个数超过上限，应该怎么处理？
- 管理中心
-
数据集成（CDM作业）
- CDM与其他数据迁移服务有什么区别，如何选择？
- CDM有哪些优势？
- CDM有哪些安全防护？
- 如何降低CDM使用成本？
- CDM未使用数据传输功能时，是否会计费？
- 已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？
- 如何查看套餐包的剩余时长？
- CDM可以跨账户使用吗？
- CDM集群是否支持升级操作？
- CDM迁移性能如何？
- CDM不同集群规格对应并发的作业数是多少？
- 是否支持增量迁移？
- 是否支持字段转换？
- Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？
- 数据源为Hive时支持哪些数据格式？
- 是否支持同步作业到其他集群？
- 是否支持批量创建作业？
- 是否支持批量调度作业？
- 如何备份CDM作业？
- 如何解决HANA集群只有部分节点和CDM集群网络互通？
- 如何使用Java调用CDM的Rest API创建数据迁移作业？
- 如何将云下内网或第三方云上的私网与CDM连通？
- CDM是否支持参数或者变量？
- CDM迁移作业的抽取并发数应该如何设置？
- CDM是否支持动态数据实时迁移功能？
- CDM是否支持集群关机功能？
- 如何使用表达式方式获取当前时间？
- 日志提示解析日期格式失败时怎么处理？
- 字段映射界面无法显示所有列怎么处理？
- CDM迁移数据到DWS时如何选取分布列？
- 迁移到DWS时出现value too long for type character varying怎么处理？
- OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？
- 获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？
- Oracle迁移到DWS报错ORA-01555
- MongoDB连接迁移失败时如何处理？
- Hive迁移作业长时间卡顿怎么办？
- 使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？
- MySQL迁移时报错“JDBC连接超时”怎么办？
- 创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？
- 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？
- 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？
- 如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”？
- 报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？
- 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？
- 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？
- 创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？
- MySQL迁移时报错：invalid input syntax for integer: "true"
- 数据集成（实时作业）
- 数据架构
-
数据开发
- 数据开发可以创建多少个作业，作业中的节点数是否有限制？
- DataArts Studio支持自定义的Python脚本吗？
- 作业关联的CDM集群删除后，如何快速修复？
- 作业的计划时间和开始时间相差大，是什么原因？
- 相互依赖的几个作业，调度过程中某个作业执行失败，是否会影响后续作业？这时该如何处理？
- 通过DataArts Studio调度大数据服务时需要注意什么？
- 环境变量、作业参数、脚本参数有什么区别和联系？
- 打不开作业日志，返回404报错？
- 配置委托时获取委托列表失败如何处理？
- 数据开发创建数据连接，为什么选不到指定的周边资源？
- 配置了SMN通知，却收不到作业失败告警通知？
- 作业配置了周期调度，但是实例监控没有作业运行调度记录？
- Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？
- 数据开发节点运行中报TOKEN不合法？
- 作业开发时，测试运行后如何查看运行日志？
- 月周期的作业依赖天周期的作业，为什么天周期作业还未跑完，月周期的作业已经开始运行？
- 执行DLI脚本，报Invalid authentication怎么办？
- 创建数据连接时，在代理模式下为什么选不到需要的CDM集群？
- 作业配置了每日调度，但是实例没有作业运行调度记录？
- 查看作业日志，但是日志中没有内容？
- 创建了2个作业，但是为什么无法建立依赖关系？
- DataArts Studio执行调度时，报错提示“作业没有可以提交的版本”怎么办？
- DataArts Studio执行调度时，报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办？
- 提交调度后的作业执行失败，报depend job [XXX] is not running or pause怎么办？
- 如何创建数据库和数据表，数据库对应的是不是数据连接?
- 为什么执行完HIVE任务什么结果都不显示？
- 在作业监控页面里的“上次实例状态”只有运行成功、运行失败，这是为什么？
- 如何创建通知配置对全量作业都进行结果监控？
- 数据开发的并行执行节点数是多少？
- DataArts Studio是否支持修改时区？
- CDM作业改名后，在数据开发中如何同步？
- 执行RDS SQL，报错hll不存在，在DataArts Studio可以执行成功？
- 创建DWS数据连接时报错提示“The account has been locaked”怎么处理？
- 作业实例取消了，日志提示“The node start execute failed, so the current node status is set to cancel.”怎么处理？
- 调用数据开发接口报错“Workspace does not exists”怎么处理？
- Postman调用接口返回结果正常，为什么测试环境调用接口的URL参数不生效？
- 执行Python脚本报错：Agent need to be updated？
- 节点状态为成功，为什么日志显示运行失败？
- 调用数据开发API报错Unknown Exception？
- 调用创建资源的API报错“资源名不合法”是什么原因？
- 补数据的作业实例都是成功的，为什么补数据任务失败了？
- DWS数据连接可视化建表，报错提示“表已存在”，但是展开数据连接看不到该表？
- 调度MRS spark作业报错“The throttling threshold has been reached: policy user over ratelimit,limit:60,time:1 minute.”怎么处理？
- 执行Python脚本，报错“UnicodeEncodeError :‘ascii' codec cant encode characters in position 63-64 : ordinal not in range ( 128 )”怎么处理？
- 查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？
- Shell/Python节点执行失败，后台报错session is down
- 请求头中参数值长度超过512个字符时，何如处理？
- 执行DWS SQL脚本时，提示id不存在，如何处理？
- 如何查看CDM作业被哪些作业进行调用？
- 执行SQL语句失败，系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs for further information”，如何处理？
- 使用python调用执行脚本的api报错：The request parameter invalid，如何处理？
- 在ECS上调试好的shell脚本，在DLF中shell脚本执行异常，如何处理？
- DataArts Studio调度CDM任务时报错Given transaction id [xxxx] is invalid，如何处理？
- 在数据开发子模块中，doris SQL作业执行失败，是什么原因？
- 在数据开发子模块中，新建的DLI SQL脚本默认队列是一个已删除的队列，怎么处理？
- 数据开发中的事件驱动是否支持线下kafka？
- 数据质量
- 数据目录
- 数据安全
- 数据服务
-
咨询与计费
- 视频帮助
- 文档下载
- 通用参考
本文导读
链接复制成功！
启用账号映射（高级特性）
在未启用细粒度认证及账号映射策略的情况下，当在DataArts Studio数据开发组件执行脚本以及测试运行作业时，数据源默认会使用数据连接上的账号进行认证鉴权。因此，即使已通过配置角色/权限集对用户进行权限管控，当用户在进行数据开发时，权限管控依然无法生效。
而在启用账号映射策略后，在DataArts Studio数据开发执行脚本以及测试运行作业时，数据源将不再使用数据连接上的账号，而是将当前用户身份映射成MRS系统账号或ldap账号后进行认证鉴权，从而做到实现不同用户具有不同的数据权限。
说明：
- 细粒度认证功能与账号映射功能在使用场景上较为相似，不可同时配置，二者在各维度对比差异如细粒度认证与账号映射功能差异所示。在实际使用中，建议您根据您的需求选择其一进行配置。
- 在新版本模式下仅当使用企业版时，才支持账号映射功能。旧版本模式使用基础版及更高版本时即可支持。
前提条件
- 启用账号映射策略前，请确保已经为MRS系统账号或ldap账号配置了业务所需的数据权限，避免开启后因用户无数据权限导致业务中断。
约束与限制
- 当前开发态账号映射仅支持代理模式的MRS Hive、MRS SPARK，MRS Hetu、MRS Impala类型数据连接。当修改MRS Hive、MRS SPARK数据连接的连接方式时，例如将代理连接改成API直连，将会导致账号映射失效。
- 仅当数据连接中的Agent选择的CDM集群为2.10.0.300及以上版本时，才支持账号映射。
- 只有DAYU Administrator、Tenant Administrator或者数据安全管理员有权限创建账号映射策略，并配置账号映射。
- DAYU User用户修改账号映射策略时，仅支持修改自己账号的映射规则，不支持修改映射类型、默认访问身份等其他内容。
- 账号映射策略为DataArts Studio实例级别配置，各工作空间之间数据互通。因此一个集群的每种映射类型下只能创建一个账号映射策略。
- 在配置账号映射策略的映射列表时，不支持校验MRS系统账号或ldap账号是否存在以及密码是否正确，若配置错误的用户名密码，会导致账号映射失败。而对于默认访问身份的配置的账号密码，系统支持校验。
配置账号映射策略
账号映射策略可以分为三部分：一为基本信息配置；二为默认访问身份，对于未在集群账号映射中配置的IAM账号，会使用默认访问身份执行；三为集群账号映射，对不同IAM用户设置对应的映射账号。
- 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。
- 单击左侧导航树中的“权限应用”，在权限应用页面，进入“账号映射”页签。
- 在“账号映射”页面，单击“新建”，创建账号映射策略。
图1 配置账号映射策略
- 新建账号映射策略配置请参考表1，参数配置完成单击“确定”即可。
表1 参数设置 参数名
参数设置
*策略名称
标识账号映射策略，实例下唯一。
建议名称中包含含义，避免无意义的描述，以便于快速识别所需账号映射策略。
*集群类型
无需选择，当前仅支持MRS集群。
*集群
选择对应的MRS集群。注意每个集群的每种映射类型下只能创建一个账号映射策略。
*映射类型
选择账号映射类型。注意每个集群的每种映射类型下只能创建一个账号映射策略。
- 系统账号映射：把当前IAM账号映射成MRS系统账号，默认展示。
- ldap账号映射：把当前IAM账号映射成ldap账号。系统会根据MRS Hive、MRS Impala类型数据连接中的ldap相关配置的开启情况，自动选择是否展示该类型。
系统账号映射
*默认访问身份
选择系统账号映射的默认映射账号类型。未配置账号映射的IAM账号将统一使用默认访问身份进行认证鉴权。
- 数据连接账号：使用连接中的MRS系统账号进行认证鉴权，不做映射。
- MRS系统账号：使用配置的通用MRS系统账号进行认证鉴权。
- 同名映射账号：使用当前IAM账号同名的MRS系统账号进行认证鉴权。
KMS密钥
通过KMS加解密认证信息，选择KMS中的任一默认密钥或自定义密钥即可。
用户名
选择“MRS系统账号”的默认访问身份时展示此选项。
配置为通用MRS系统账号，未配置账号映射的IAM账号将统一使用此
MRS系统账号进行认证鉴权。
注意系统不支持校验账号是否存在以及密码是否正确，若配置错误的用户名密码，会导致账号映射失败。
密码
FusionInsight Manager账号
当选择的MRS集群为安全集群，且选择“同名映射账号”的默认访问身份时展示此选项。- MRS Hive连接和MRS SPARK连接配置的FusionInsight账号需要拥有Manager User管理权限。
- MRS Hetu连接配置的FusionInsight账号需要添加hetuadmin用户组权限，且要求集群为MRS 3.3.0-LTS以上版本。
注意系统不支持校验账号是否存在以及密码是否正确，若配置错误的用户名密码，会导致账号映射失败。
密码
ldap账号映射
*默认访问身份
选择ldap账号映射的默认映射账号类型。未配置账号映射的IAM账号将统一使用默认访问身份进行认证鉴权。
- 数据连接账号：使用连接中的ldap账号进行认证鉴权，不做映射。
- ldap账号：使用配置的通用ldap账号进行认证鉴权。
KMS密钥
通过KMS加解密认证信息，选择KMS中的任一默认密钥或自定义密钥即可。
用户名
选择“ldap账号”的默认访问身份时展示此选项。
配置为通用ldap账号，未配置账号映射的IAM账号将统一使用此ldap账号进行认证鉴权。
注意系统不支持校验账号是否存在以及密码是否正确，若配置错误的用户名密码，会导致账号映射失败。
密码
配置集群账号映射
IAM用户
对单个IAM用户配置单独的账号映射规则。此处未配置的IAM账号将统一使用默认访问身份进行认证鉴权。
MRS系统用户/ldap账号
配置为单个IAM用户待映射的MRS系统用户或ldap账号及对应密码。
MRS系统用户密码/ldap密码
操作
可通过“删除”移除一条映射规则，通过“新增”添加一条映射规则。
DAYU User用户修改账号映射策略时，仅支持修改自己账号的映射规则。
图2 新建账号映射策略配置
启用账号映射
当成功配置账号映射策略后，需要在细粒度权限应用页签启用账号映射策略后，账号映射才能生效。
- 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。
- 单击左侧导航树中的“权限应用”，在权限应用页面，进入“细粒度权限应用”页签。
- 在“细粒度权限应用”页面，为希望启用账号映射的数据连接，进行账号映射联通性测试。
账号映射联通性测试时，系统会按照账号映射策略将当前用户身份映射成MRS系统账号或ldap账号后再访问数据源，以确保账号访问正常。图3 账号映射联通性测试
- 账号映射联通性测试成功后，需要在细粒度认证状态处选择“开发态账号映射”，然后系统会自动根据数据连接的集群选择对应的账号映射策略，为对应连接开启账号映射。
图4 启用账号映射
细粒度认证与账号映射功能差异
|
差异项 |
细粒度认证 |
账号映射 |
|---|---|---|
|
支持数据连接 |
|
|
|
配置流程 |
测试联通性 > 启用细粒度认证 |
配置账号映射策略 > 测试账号映射联通性 > 启用账号映射 |
|
影响的操作 |
数据开发操作：
|
数据开发操作：
|
|
目标认证鉴权身份 |
以当前用户身份进行认证鉴权。 说明：
建议提前通过配置角色/权限集，对用户进行权限管控。 |
以当前用户身份，在映射策略列表进行匹配：
说明：
建议提前在MRS集群中，对MRS系统账号或ldap账号进行权限管控。 |
父主题： 数据权限访问控制
