# 数据治理中心 DataArts Studio > 一站式数据开发与治理平台 ## 服务公告 - [CDM集群版本支持公告](https://support.huaweicloud.com/bulletin-dataartsstudio/dataartsstudio_16_001.md): CDM在管理控制台上显示的集群版本号格式为x.y.z.p，版本号具体含义如图1所示。一般情况下，CDM新功能特性以发布号为周期进行发布，例如24.4.0，25.3.0。而每一个发布号版本发布后，会发布补丁用于修复问题，例如24.4.0.1补丁版本。即补丁号仅修复问题，不增加新的功能特性。表1给出了CDM版本生命周期（仅体现发布号）及收编策 ## 产品介绍 - [什么是数据治理中心DataArts Studio](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_001.md): 企业在进行数据管理时，通常会遇到下列挑战。数据治理的挑战缺乏企业数据体系标准和数据规范定义的方法论，数据语言不统一。缺乏面向普通业务人员的高效、准确的数据搜索工具，数据找不到。缺乏技术元数据与业务元数据的关联，数据读不懂。缺乏数据的质量管控和评估手段，数据不可信。缺乏企业数据体系标准和数据规范定义的方法论，数据语言不统一。缺乏面向普通业务 - [产品优势](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_002.md): 贯穿数据全流程的一站式治理运营平台，提供全域数据集成、标准数据架构、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等，帮助企业构建完整的数据中台解决方案。数据全生命周期管控，提供数据架构定义及可视化的模型设计，智能化地帮助用户生成数据处理代码，数据处理全流程质量监控，异常事件实时通知。支持多人在线协作开发，脚本开发 - [应用场景](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_003.md): 从数据采集->数据架构->质量监控->数据清洗->数据建模->数据联接->数据整合->数据消费->智能分析，一站式数据智能运营平台，帮助企业快速构建数据运营能力。优势多种云服务作业编排全链路数据治理管控丰富数据引擎支持支持对接所有华为云的数据湖与数据库云服务，也支持对接企业传统数据仓库，比如Oracle等。支持对接所有华为云的数据湖与数据 - [基本概念](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_004.md): 请参考数据库、数据仓库、数据湖与华为智能数据湖方案。DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提供给用户，用户可以同时创建多个DataArts Studio实例，并分别管理和访问每个DataArts Studio实例。每个DataArts Studi - [产品功能](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_005.md): 本页面介绍了DataArts Studio服务各个组件支持的主要功能。关于各功能支持的地域（Region）信息，可通过控制台查询详情。数据集成提供20+同构/异构数据源之间数据集成的功能，帮助您实现数据自由流动。支持自建和云上的文件系统、关系型数据库、数据仓库、NoSQL、大数据云服务、对象存储等数据源。数据集成基于分布式计算框架，利用并 - [约束与限制](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_006.md): 您需要使用支持的浏览器版本登录DataArts Studio。 浏览器兼容性浏览器版本建议版本建议操作系统备注Google Chrome138、137、136Windows 10建议分辨率为1920*1080，2560*1440。Firefox141、140Windows 10建议分辨率为1920*1080，2560*1440。Micro - [与其他云服务的关系](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_007.md): DataArts Studio使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证和鉴权功能。DataArts Studio使用云审计服务（Cloud Trace Service，简称CTS）审计用户在管理控制台页面的操作，可用于检查是否存在非法或越权操作，完善服务安全管理。DataAr - [如何选择版本](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_009.md): 请您根据您所需的功能和规格，慎重选择DataArts Studio版本。购买版本后，无法直接降级版本。如已购买企业版，无法直接降级到初级版，您需要采取先备份数据，然后退订原有实例，购买新实例，最后迁移备份数据到新实例的方式来实现版本降级。如果您的业务量不断增长，已购版本无法满足您的业务需求，您可以选择升级版本。登录DataArts Stu - [权限管理](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_012.md): 如果您需要对购买的DataArts Studio资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制华为云资源的访问。如果华为云账 - [权限列表](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_013.md): 工作空间成员共有管理员、开发者、部署者、运维者和访客五种预置角色，并支持自定义角色。管理员：工作空间管理员，拥有工作空间内所有的业务操作权限。建议将项目负责人、开发责任人、运维管理员设置为管理员角色。开发者：开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。运维者：运维者具备工作空间内运维调度 - [计费说明](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_015.md): 数据治理中心DataArts Studio采用基础包+增量包的计费项。为了便于您下单购买，在控制台购买界面中系统会为您计算好所购买的套餐包价格，您可一键完成整个配置的购买。在您使用DataArts Studio的过程中，可能还会产生以下相关服务的费用，敬请知悉：OBS服务：在数据集成或数据开发时，DataArts Studio会将脏数据或 - [图解数据治理中心DataArts Studio](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_017.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [资产识别与管理](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_020.md): 云资源的标识与管理可通过标签实现。您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签（对于DataArts Studio而言，标签作用于其实例上），各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个不同的应用构成，为同一种应用拥有的资源实例设置统一的标签将很容易帮助 - [身份认证与访问控制](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_021.md): 用户访问DataArts Studio的方式有多种，包括控制台、开放API等，无论访问方式封装成何种形式，其本质都是通过DataArts Studio提供的REST风格的API接口进行请求。DataArts Studio的接口均需要通过认证鉴权判断是否通过身份认证。通过控制台发出的请求需要通过Token认证鉴权，调用API接口认证鉴权支持 - [数据保护技术](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_022.md): 为了确保您的个人数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，DataArts Studio对用户数据的存储和传输加密保护，以防止个人数据泄露，保证您的个人数据安全。用户名：用于审批，消息通知，作为用户资产的属性存在，获取委托token的key值以及国际化。用户IP：用于作为用户资产的唯一标识的必要信息存在。 - [审计与日志](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_023.md): 云审计服务（Cloud Trace Service，以下简称CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。CTS可记录的DataArts Studio操作列表详见如何查看审计日志。用户开通云审计服务并创建和配置追踪器后，C - [服务韧性](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_024.md): DataArts Studio通过AZ故障容错、过载保护、备份恢复等技术方案，保障数据的持久性和可靠性。关于DataArts Studio支持的备份信息，请参见备份管理。 - [监控安全风险](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_025.md): DataArts Studio提供基于云监控服务CES的资源监控能力，帮助用户监控账号下的DataArts Studio数据集成模块中的CDM集群，执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。关于DataArts Studio支持的 - [故障恢复](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_026.md): DataArts Studio云服务每天会定时全量备份数据库数据，当服务故障后，通过备份恢复等技术方案支持数据恢复。关于DataArts Studio支持的备份信息，请参见备份管理。 - [更新管理](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_027.md): DataArts Studio云服务通过华为云安全公告密切跟踪漏洞，如Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）、Fastjson存在反序列化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案在现网升级以修复漏洞。DataArts Studio云服务通过版本更新升 - [认证证书](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_07_028.md): 华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。合规证书下载华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。资源中心华为云安全服务提供了网络安全专用产品安全检测证书、软件著作权等证书，供用户下载和参考。具体请查看合规资质证书。合规资质证书 - [数据治理解决方案概述](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_08_0001.md): 数据治理解决方案是以DataArts Studio为核心产品，打造领先的数智融合生产线，面向行业落地水平、场景化解决方案，助力企业数字化升级，实现数据驱动精益管理，探索数据价值流通，在水平和行业两个方向构建可复制数据治理解决方案。数据治理解决方案正在持续构建中，如需落地请通过解决方案官网咨询。 - [积极拥抱数据资产入表新时代](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_08_0011.md): 在当前数字化的浪潮下，数据已经成为劳动力、土地、知识、技术以后的第五大生产要素，“数据即资产”已成为共识。2024年1月1日起，财政部于2023年8月印发的《企业数据资源相关会计处理暂行规定》将正式实施。数据资产入表已进入倒计时，备受关注的数据要素市场有望被真正激活。所谓“数据资产入表”，是指数据资产入资产负债表，将数据确认为企业资产负债 - [数据管理能力概述](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_08_0021.md): 《大数据产业发展十四五规划》多次提到“数据管理”和“数据管理能力”，进入数字化经济时代，数据已成为产业发展的生产要素，企业的数据管理能力成为企业竞争的核心能力之一。DCMM（Data management Capability Maturity Model）是《数据管理能力成熟度评估模型》GB/T 36073-2018国家标准，是我国首个 - [DCMM标准模型与等级](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_08_0022.md): DCMM标准分析提炼出了组织数据管理的八大能力域，分别为数据战略，数据治理，数据架构，数据标准，数据质量，数据安全，数据应用，以及数据生存周期；并对每项能力域进行了二级能力项（28个过程项）和发展等级的划分（5个等级）以及相关功能介绍和评定指标（445项指标）的制定。该标准适用于信息系统的建设单位，应用单位等进行数据管理时的规划、设计和评 - [贯标与评估流程](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_08_0023.md): DCMM贯标流程主要分为三个阶段：差距分析：贯标启动，分析差距。能力提升：建立数据管理组织，完善制度，内部运行并开展自评估。评估确认：组建评估队伍，开展第三方评估，获取评估报告和能力证书。DCMM评估流程分为如下步骤：评估工作部遴选试点评估单位。入选的试点评估单位向评估机构提交有效的申请材料。评估机构受理评估申请后，组织实施文件评审和现场 - [数据安全治理能力概述](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_08_0031.md): 发展数字经济、加快培育发展数据要素市场，必须把保障数据安全放在突出位置。这就要求我们着力解决数据安全领域的突出问题，有效提升数据安全治理能力。随着数据安全监管要求逐渐落地，组织数据安全治理动力明显攀升，数据安全技术及服务供给不断释放。整体来看，数据安全治理进入快速发展阶段。DataArts Studio数据安全为您提供开箱即用的数据安全治 - [数据安全能力成熟度模型](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_08_0032.md): 数据安全能力成熟度模型（Data Security Capability Maturity Model，简称DSMM）是依据《信息安全技术数据安全能力成熟度模型》国家标准和《数据安全能力建设实施指南V1.0》，对组织的数据安全开展能力评估。DSMM旨在标准先行，推动数据安全，进一步提升企业数据安全能力，增强数据安全意识，挖掘数据价值，培育 - [数据安全治理维度](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_08_0033.md): 根据DSMM评估模型，可以从组织建设、制度流程、技术工具、人员能力四个维度开展数据安全治理能力建设工作。数据安全能力建设工作数据安全组织架构是数据安全治理体系建设的前提条件。通过建立专门的数据安全组织，落实数据安全管理责任，确保数据安全相关工作能够持续稳定地贯彻执行。数据安全治理组织架构一般由决策层、管理层、执行层与监督层构成，各层之间通 - [数据资产入表三步走](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_09_0012.md): 数据资产“入表”，是推动数据资产化的第一步，也是数据要素市场发展的关键一步。国有企业、上市公司如何充分发挥海量规模数据和应用场景等优势，如何解决数据难点，如何管好用好数据资产，已成为数字化转型的关键命题。对此，国内领先的数据分析和数据治理产品与服务提供商亿信华辰提炼出数据资产入表三大步骤，以期为有数据资产入表需求的国有企业和上市公司提供参 - [华为联合亿信华辰提供数据入表全方位助力](https://support.huaweicloud.com/productdesc-dataartsstudio/dataartsstudio_09_0013.md): 作为Gartner认可的数据资产管理标杆厂商、IDC认证的中国数据治理解决方案市场第一厂商，亿信华辰一直走在数据资产化前列。面对数据入表的需求，亿信华辰不仅提供全套数据治理软件，让数据采集、加工、治理、应用更加便捷。还为企业搭建数据入表所需的信息系统及提供成本法入表服务，帮助实现半自动化、全自动化的数据入表。同时，亿信华辰拉通各生态伙伴成 ## 数据治理方法论 - [前言](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0001.md): 数据是企业核心资产，企业需要建立起数据字典，有效管理其日益重要的数据和信息资源；同时建立数据持续改进机制，来不断提升数据质量。数据的价值和风险应被有效管理，以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础，数据架构和标准的统一是全流程高效运作、语言一致的前提。当前企业数据面临很多的问题：没有统一的 - [数据治理框架](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0004.md): 数据治理框架制定如下： - [数据治理模块域](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0005.md): 数据治理主要专注于如下模块域：数据集成数据集成用来完成数据入湖动作，不是简单的数据搬家，而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准，包括：明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由数据代表在入湖前完成梳理并在数据治理平台上进行资产注册。数据集成用来完成数据入湖 - [数据治理各模块域之间的关系](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0006.md): 数据治理主要模块域之间的关系如下图所示：数据标准为数据开发和设计工作提供核心参考，同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”；数据标准为主数据管理提供主数据定义的基准，数据标准也是数据质量管理策略设计、数据质量规则制定的核心依据；数据标准所定义的密级分类和责任主体，为数据安全管理提供依据；数据标准也是数据资 - [数据治理组织架构框架](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0008.md): 数据治理可以采用集中化（全时投入）和虚拟化（部分投入）混合的组织模式。结合具备专业技能的专职数据治理人员和熟悉业务和IT系统的已有人员，在运作上实现数据治理团队的快速构建和能力导入，捆绑业务、IT开发和数据团队利用已有人员熟悉度快速切入重点工作。在工作内容和责任上具体到三层的工作组织： - [数据治理组织职责](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0009.md): 在战略层面，由数据治理Sponsor和各部门负责人组成的数据治理领导组制定数据治理的战略方向，以构建数据文化和氛围为纲，整体负责数据治理工作的开展、政策的推广和执行，并作为数据治理问题的最终决策组织解决争议，监控和监督数据治理工作的绩效，并确保数据治理工作预算支持。数据治理委员会和各领域数据治理工作组是数据治理战略在运作层面具体的实施团队 - [数据治理实施方法论](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0011.md): 数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。这也遵循了PDCA（Plan-Do-Check-Action）循环的科学程序，同时结合数据治理工作的特点设计了两个层面的度量评估：通过年度的整体数据治理成熟度评估，了解各维度数据治理现状 - [数据治理度量维度](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0012.md): 数据治理成熟度评估使用调查问卷方式，包括11个治理模块，60多个调查问卷事项，全方面多维度度量了数据治理工作的水平。数据治理评分卡使用评分卡形式，由数据治理组织和各业务IT部门共同针对各部门自身数据治理情况进行打分。评分卡是季度性打分，作为一个工具手段持续推动促进各部门的数据治理工作，改进数据质量，提升数据治理水平。 - [数据治理度量评分规则](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0013.md): 数据治理成熟度评估分5个级别：级别1是最低级别，数据治理处于初始级别，空白状态，没有相关流程及数据治理管控。级别2是开始管理级别，仍处于匮乏状态，没有形成正式一致的数据治理方法。级别3是明确定义级别，处于可改进状态，已经形成了主动治理的流程和正式一致的数据治理方法。级别4是量化管理级别，已经步入适宜匹配状态，贯穿组织采用的正式一致的数据治 - [华为数据治理思考](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0015.md): 华为在发展中也遇到了如下的数据问题：数据管理责任不清晰，造成数据问题无人决策解决；数据多源头，造成数据不一致，不可信；数据大量搬家造成IT重复投资；数据无定义造成难于理解、难于使用；各部门发布报告，统计口径不一致，困扰业务决策；数据形态多样化，数据量迅猛增长，数据处理逻辑复杂，投资大；华为在数字化转型过程中，解决了上述问题，因为华为认识到 - [华为数据治理实践](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0016.md): 华为数据治理的规范流程建设，完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践，建立实体化的数据管理组织，向公司数据管理部汇报，同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架，指导各领域进行分类管理。华为信息架构框架，通过政策发文明确信息架构的定义和构成要素，在公司层面建立统一的架构 - [华为数据治理效果](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0017.md): 以财经为例，在数据治理前存在很多问题，如由于IT系统的烟囱式建设，导致一个角色跨多个IT系统操作，效率低；数据获取难，手工处理多，单一个收入管理需要从5个系统导出数据，约11个人总共花费50小时完成分析。通过数据治理，华为可以做到3天月度财务报告出初稿、5天月度财务报告出终稿、11天年度财务报告完成初稿，要把一家业务遍及170多个国家和地 - [方法论产品落地](https://support.huaweicloud.com/dgm-dataartsstudio/dataartsstudio_09_0019.md): 数据治理方法论已经在华为云服务数据治理中心DataArts Studio上落地实现，包括流程落地和功能落地。流程落地是指有一套详细的流程规范（需求、设计、实施、验证、发布等阶段）指导用户使用DataArts Studio开展数据治理工作；功能落地是指DataArts Studio平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。数 ## 快速入门 - [快速入门指引](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0000.md): 数据治理中心DataArts Studio是一款基于数据湖底座的一站式数据治理平台，提供涵盖数据全生命周期的智能管理能力，支持数据集成、开发及治理等核心功能。为满足不同业务场景与治理需求，平台提供多种版本，具体功能定位及适用场景如下：免费版：适用于仅需基础数据开发能力的用户。初级版：适用于需要数据集成与数据开发能力的用户。企业版：适用于需 - [示例场景说明](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0001.md): 本示例是一个DataArts Studio全流程入门教程，旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。本案例基于某市的出租车出行数据，选择MRS Hive作为数据湖底座，使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标：数据标准化、模型标准化统一统计口径，提供高质量数据 - [步骤1：流程设计](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0003.md): 本入门指南以某市出租车出行数据为例，统计某出租车供应商2017年度的运营数据。基于需求分析和业务调研，数据治理业务流程设计如图1所示，后续的数据治理操作均基于本业务流程完成。通过需求分析，可以提炼出数据治理流程的实现框架，支撑具体数据治理实施流程的设计。在本示例场景下，当前面临的数据问题如下：未建立标准化模型数据字段命名不标准、不规范数据 - [步骤2：数据准备](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0004.md): 如果您是第一次使用DataArts Studio，请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例、创建工作空间等一系列操作。然后进入到对应的工作空间，即可开始使用DataArts Studio。本入门示例，为了演示DataArts Studio数据治理的全流程，华为账号需要具有D - [步骤3：数据集成](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0005.md): 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集群，如果无法满足业务需求，在购买DataArts Studio基础包实例后，您可以根据实 - [步骤4：元数据采集](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0006.md): 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控，我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 - [步骤5：数据架构设计](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0007.md): DataArts Studio数据架构以关系建模、维度建模理论支撑，实现规范化、可视化、标准化数据模型开发，定位于数据治理流程设计落地阶段，输出成果用于指导开发人员实践落地数据治理方法论。DataArts Studio数据架构建议的数据分层如下：SDI(Source Data Integration)，又称贴源数据层。SDI是源系统数据的 - [步骤6：数据开发处理](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0008.md): DataArts Studio数据开发模块可管理多种大数据服务，提供一站式的大数据开发环境、全托管的大数据调度能力，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。使用DataArts Studio数据开发，用户可进行数据管理、数据集成、脚本开发、作业开发、版本管理、作业调度、运维监控等操作，轻松完成整个数据的处理分析流程。在 - [步骤7：数据质量监控](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0009.md): 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。在DataArts Studio数据开发中，作业运行成功后，您可以登录DataArts Studio数据质量控制台查看质量作业运行结果。 - [步骤8：数据资产查看](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0010.md): 在DataArts Studio数据目录模块中，您可以查看数据地图，详情请参见数据目录章节。数据地图包含业务资产和技术资产，业务资产就是指逻辑实体和业务对象，技术资产就是指数据连接、数据库对象等。本章节介绍如何在DataArts Studio数据目录中查看业务资产和技术资产。例如，在技术资产的事实表中，您可以查看数据血缘等详细信息，在技术 - [步骤9：服务退订](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0014.md): 本开发场景中，DataArts Studio、OBS、MRS和DWS服务均会产生相关费用。在使用过程中，如果您额外进行了通知配置，可能还会产生以下相关服务的费用：SMN服务：如果您在使用DataArts Studio各组件过程中开启了消息通知功能，则会产生消息通知服务费用，收费标准请参见SMN价格详情。EIP服务：如果您为数据集成集群或数 - [示例场景说明](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0021.md): 您是一家电商企业的数据分析师，正面临用户行为与商品评价数据的分析挑战，旨在为营销决策和广告推荐提供数据支撑。若您对如何利用华为云大数据服务快速搭建分析流程感到困惑，本实践将为您提供清晰指引。基于真实的电商商城业务场景，我们将结合DataArts Studio数据开发组件与数据湖探索服务（DLI），带您完整体验数据开发的全流程。通过本实践， - [步骤1：数据准备](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0022.md): 如果您是第一次使用DataArts Studio，请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例、创建工作空间等一系列操作。然后进入到对应的工作空间，即可开始使用DataArts Studio。本入门示例以某电商商城的BI报表数据为例，分析用户和商品的各种数据特征。为方便演示，本 - [步骤2：数据开发处理](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0023.md): 当需要快速掌握用户偏好与痛点时，面对海量的BI报表原始数据，人工难以实时提炼出关键洞察，导致决策滞后。本步骤通过作业定期调度，分析并导出10大用户关注最多的产品和10大用户评价最差的商品至数据表，以支撑高效的信息分析。分析10大用户关注最多的产品和分析10大用户评价最差的商品两种场景的脚本开发操作步骤介绍。详情请参考访问DataArts - [步骤3：服务退订](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0024.md): 本开发场景中，DataArts Studio、OBS和DLI服务均会产生相关费用。如果启用了SMN消息通知，还会导致额外的费用产生。因此，在场景开发完成后，如果您不再使用DataArts Studio及相关服务，请及时进行退订和资源删除，避免持续产生费用。 - [示例场景说明](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0031.md): 在电影推荐系统开发场景中，用户需要从原始评分数据中挖掘出评分最高和最活跃的Top10电影，但面临数据量大、处理流程复杂、多组件协同困难等挑战。本实践通过DataArts Studio服务的数据集成CDM组件、数据开发组件和数据仓库服务 （DWS）对电影评分原始数据进行分析，输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据 - [步骤1：数据准备](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0032.md): 如果您是第一次使用DataArts Studio，请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例、创建工作空间等一系列操作。然后进入到对应的工作空间，即可开始使用DataArts Studio。本示例演示数据来自：https://grouplens.org/datasets/mo - [步骤2：数据集成](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0033.md): 详情请参考访问DataArts Studio实例控制台。如图7所示，配置作业名为movies_obs2dws，配置源端作业参数，然后配置目的端作业参数。在本示例中，目的端作业参数导入开始前配置为清除全部数据，表示每次作业运行都会先清空数据再导入。在实际业务中，请视情况而定，需谨慎设置，以免造成数据丢失。作业配置在本示例中，目的端作业参数导 - [步骤3：数据开发处理](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0034.md): 在影视数据分析业务中，运营人员通常需要定期掌握热门电影排行及用户活跃度情况。然而，面对海量且持续更新的原始数据，手动统计不仅耗时费力，还难以保证时效性与准确性。本步骤通过处理电影信息和评分信息的原始数据，分析出评分最高的Top10电影和最活跃的Top10电影，并通过配置作业定期调度执行，将结果每日导出到表中，以高效支撑后续的信息分析。创建 - [步骤4：服务退订](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0035.md): 本开发场景中，DataArts Studio、OBS和DWS服务均会产生相关费用。在使用过程中，如果您额外进行了通知配置，可能还会产生以下相关服务的费用：SMN服务：如果您在使用DataArts Studio各组件过程中开启了消息通知功能，则会产生消息通知服务费用，收费标准请参见SMN价格详情。EIP服务：如果您为数据集成集群开通了公网I - [入门实践](https://support.huaweicloud.com/qs-dataartsstudio/dataartsstudio_04_0060.md): 当您参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例（DataArts Studio企业版）、创建工作空间等一系列操作后，可以根据自身的业务需求使用DataArts Studio提供的一系列常用实践。 ## 用户指南 - [访问DataArts Studio实例控制台](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0001.md): 请参见购买DataArts Studio实例，确认已购买DataArts Studio实例。如果当前区域下不存在DataArts Studio实例，则默认进入实例购买页面。如果当前区域下仅有一个DataArts Studio实例，则默认进入DataArts Studio控制台首页。DataArts Studio新版控制台首页已经上线，您可 - [注册账号并实名认证](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0002.md): 账号是您访问华为云的责任主体，有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号，可以略过此部分内容。打开华为云网站www.huaweicloud.com。单击页面右上角的“注册”按钮。在注册页面，根据页面提示完成账号注册。为了能够给您提供更好的云服务使用体验，建议您优先完成实名认证。实名认证分为个人账号和企 - [创建IAM用户并授予DataArts Studio权限-角色与策略](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0004.md): 如果您需要对您所拥有的DataArts Studio进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）。通过IAM，您可以：根据企业的业务组织，在您的华为账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用DataArts Studio资源 - [DataArts Studio支持的数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0005.md): 在使用DataArts Studio前，您需要根据业务场景选择符合需求的云服务或数据库作为数据底座，由数据底座提供存储和计算的能力，DataArts Studio基于数据底座进行一站式数据开发、治理和服务。在本章节中，DataArts Studio支持的数据源是指除数据集成之外其他各组件支持的数据源情况，各组件支持程度各有不同，详情请参见 - [DataArts Studio使用流程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0007.md): 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据，加快数据变现，实现数字化转型。使用DataArts Studio平台，通常包括以 - [配置DataArts Studio资源迁移](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0010.md): 当您需要将一个工作空间中的资源迁移至另一个工作空间，可使用数据治理中心DataArts Studio的资源迁移功能，对资源进行导入导出。资源导入可以基于OBS服务，也支持从本地导入。支持迁移的资源包含如下业务数据：管理中心组件中创建的数据连接。数据集成组件中创建的CDM作业，包含作业中的CDM连接。数据开发组件中已提交版本的脚本和作业。导 - [数据集成概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0013.md): DataArts Studio数据集成是一种高效、易用的数据集成服务，围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高您数据迁移和集成的效率。数据集成即云数据迁移（Cloud Data Migration，后简称CDM）服务，本文中的“云数据迁移 - [支持的数据源（2.9.3.300）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0014.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [约束与限制](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0015.md): DataArts Studio实例赠送的数据集成集群，由于规格限制，仅用于测试业务、数据连接代理场景。单个CDM集群建议配置的作业数上限为1000，超过该上限时，作业的运行性能及可靠性均可能会受到影响。用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买，也可以在云数据迁移CDM服务控制台直 - [设置工作空间配额](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0021.md): 使用DataArts Studio前，您需要为当前工作空间设置工作空间配额（当前仅支持数据服务专享版API配额）。如果当前工作空间的“已使用配额”超出“已分配配额”，或者“总使用配额”超出“总分配配额”，则会导致相应业务使用受限，例如无法再新建数据服务专享版API。已使用配额：表示当前工作空间下已使用的配额，由系统自动统计。已分配配额：表 - [下载CDM集群日志](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0022.md): 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录，定位作业失败原因等。已创建CDM集群。或参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。在DataArts Studio控制台首页，选择对应工作空间的数据集成模块，进入CDM首页。创建来源列仅通过DataArts Studio服 - [创建CDM与数据源之间的连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0024.md): 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。不同类型的数据源，创建连接时的配置参数也不相同，本章节指导用户根据数据源类型创建对应的 - [迁移作业原理](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0025.md): CDM数据迁移时，简化的迁移模型如图1所示。CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。CDM - [Hive连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0026.md): 目前CDM支持连接的Hive数据源有以下几种：MRS HiveFusionInsight HiveApache Hive作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。MRS HiveFusionInsight HiveApache Hive作业运行中禁止修改密码或者更换用户。在 - [CloudTable连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0027.md): 连接CloudTable时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。单击显示高级属性，然后单击添加，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的删除按钮进行删除。 - [FTP/SFTP连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0028.md): FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。当前仅支持Linux操作系统的FTP 服务器。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。连接FTP或SFTP服务器时，连接参数相同，如表1所示。FTP/SFTP连接参数参数名说明取值样例名称连接的名 - [MongoDB连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0030.md): MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。连接本地MongoDB数据库时，相关参数如表1所示。暂不支持开启SSL的MongoDB数据源。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业 - [DDS连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0031.md): DDS连接适用于华为云上的文档数据库服务，常用于从DDS同步数据到大数据平台。连接云服务DDS时，相关参数如表1所示。暂不支持开启SSL的DDS数据源。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [Redis连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0032.md): Redis连接适用于用户在本地数据中心或ECS上自建的Redis，适用于将数据库或文件中的数据加载到Redis。Redis连接不支持SSL加密的Redis数据源。连接本地Redis数据库时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [Kafka连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0033.md): 连接MRS上的Kafka数据源时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。单击显示高级属性，然后单击添加，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的删除按钮进行删除。Apache Kafka连接适 - [DIS连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0034.md): 连接DIS时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [云搜索服务（CSS）连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0035.md): 华为云的云搜索服务（CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。作业运行中禁止修改密码或者更换 - [DLI连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0036.md): 连接数据湖探索（DLI）服务时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成 - [CloudTable OpenTSDB连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0037.md): 连接CloudTable OpenTSDB时，相关参数如表1所示。 - [DMS Kafka连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0038.md): 连接DMS的Kafka队列时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [HBase连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0039.md): 目前CDM支持连接的HBase数据源有以下几种：MRS HBaseFusionInsight HBaseApache HBase作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。MRS HBaseFusionInsight HBaseApache HBase作业运行中禁止修改密码或 - [HDFS连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0040.md): 目前CDM支持连接的HDFS数据源有以下几种：MRS HDFSFusionInsight HDFSApache HDFS作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。MRS HDFSFusionInsight HDFSApache HDFS作业运行中禁止修改密码或者更换用户。在 - [PostgreSQL/SQLServer连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0044.md): 连接PostgreSQL/SQLServer时，相关参数如表1所示，Greenplum、金仓、GaussDB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [OBS连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0045.md): OBS连接目的端OBS桶需添加读写权限，但连接时不需要认证文件。CDM集群和OBS桶不在同一个Region时，不支持跨Region访问OBS桶。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。连接OBS时，相关连接参数如表1所示。OBS连接的参数参数名说明取值样例名称连接的名称， - [Cassandra连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_004501.md): 2.9.3.300以上版本不支持Cassandra。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [新建表/文件迁移作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0046.md): CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移，支持表/文件迁移的数据源请参见支持的数据源。记录脏数据功能依赖于OBS服务。作业导入时，JSON文件大小不超过1MB。单文件传输大小不超过1TB。配置源端和目的端参数时，字段名不可包含&和%。作业过多可能会导致集群过载，需合理规划作业个数，作业配额数与集群规格有关，具体参见表 - [配置OBS源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0048.md): 作业中源连接为OBS连接时，源端作业参数如表1所示。高级属性里的参数为可选参数，默认隐藏，单击界面上的显示高级属性后显示。迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个 - [配置HDFS源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0049.md): 作业中源连接为HDFS连接时，即从MRS HDFS、FusionInsight HDFS、Apache HDFS导出数据时，源端作业参数如表1所示。 - [配置HBase/CloudTable源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0050.md): 作业中源连接为HBase连接或CloudTable连接时，即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时，源端作业参数如表1所示。CloudTable或HBase作为源端时，CDM会读取表的首行数据作为字段列表样例，如果首行数据未包含该表的所有字段，用户需要自己手 - [配置Hive源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0051.md): 作业中源连接为Hive连接时，源端作业参数如表1所示。Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。 - [配置FTP/SFTP源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0052.md): 作业中源连接为FTP/SFTP连接时，源端作业参数如表1所示。高级属性里的参数为可选参数，默认隐藏，单击界面上的显示高级属性后显示。 - [配置HTTP源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0053.md): 作业中源连接为HTTP连接时，源端作业参数如表1所示。当前只支持从HTTP URL导出数据，不支持导入。 - [配置PostgreSQL/SQL Server源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0054.md): 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时，源端作业参数如表1所示。 - [配置MongoDB/DDS源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0055.md): 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。作业中源连接为MongoDB连接时，即从本地MongoDB或DDS导出数据时，源端作业参数如表1所示。MongoDB/DDS作为源端时的作业参数参数类型参数名说明取值样例基本参数数据库名称选择待迁移 - [配置Redis源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0056.md): 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 - [配置DIS源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0057.md): 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。作业中源连接为DIS连接时，源端作业参数如表1所示。 - [配置Kafka/DMS Kafka源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0058.md): 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 - [配置Elasticsearch/云搜索服务源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0059.md): 作业中源连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，源端作业参数如表1所示。 - [配置OpenTSDB源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0060.md): 作业中源连接为CloudTable OpenTSDB连接时，源端作业参数如表1所示。 - [配置OBS目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0062.md): 作业中目的连接为OBS连接时，即导入数据到云服务OBS时，目的端作业参数如表1所示。高级属性里的参数为可选参数，默认隐藏，单击界面上的显示高级属性后显示。 - [配置HDFS目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0063.md): 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。HDFS文件编码只能为UTF-8，故HDFS不支持设置文件编码类型。 - [配置HBase/CloudTable目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0064.md): 作业中目的连接为HBase连接或CloudTable连接时，即导入数据到以下数据源时，目的端作业参数如表1所示。 - [配置Hive目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0066.md): 作业中目的连接为Hive连接时，目的端作业参数如表1所示。Hive LoadOverwrite的动态分区写入与静态分区写入介绍：CDM Hive的LoadOverwrite方式依赖Hive原生语法'LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [P - [配置MySQL/SQL Server/PostgreSQL目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0068.md): 当作业将数据导入到MySQL/SQL Server/PostgreSQL时，目的端作业参数如表1所示。 - [配置DDS目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0069.md): 作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。DDS作为目的端时的作业参数参数名说明取值样例数据库名称选择待导入数据的数据库。ddsdb集合名称选择待导入数据的集合，相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。如果选择界面没有待选择的表，请确认 - [配置Redis目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0070.md): 当作业将数据导入到Redis时，目的端作业参数如表1所示。Redis作为目的端时的作业参数参数名说明取值样例Redis键前缀键的前缀，类似关系型数据库的表名。TABLE值存储类型仅支持以下数据格式：STRING：不带列名，如值1，值2形式。HASH：带列名，如列名1=值1，列名2=值2的形式。STRING是否以列值作为field当值存储类 - [配置Elasticsearch/云搜索服务（CSS）目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0071.md): 作业中目的连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，即将数据导入到Elasticsearch/云搜索服务（CSS）时，目的端作业参数如表1所示。表/文件迁移和整库迁移时需配置的参数不同，下表参数为表/文件迁移时的全量参数，实际参数以界面显示为准。 - [配置DLI目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0072.md): 作业中目的连接为DLI连接时，即将数据导入到数据湖探索服务（DLI）时，目的端作业参数如表1所示。使用CDM服务迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限，否则会导致迁移失败。dli-trans*内部 - [配置OpenTSDB目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0074.md): 作业中目的连接为CloudTable OpenTSDB连接时，目的端作业参数如表1所示。 - [新建整库迁移作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0075.md): CDM支持在同构、异构数据源之间进行整库迁移，迁移原理与新建表/文件迁移作业相同，关系型数据库的每张表、Redis的每个键前缀、Elasticsearch的每个类型、MongoDB的每个集合都会作为一个子任务并发执行。整库迁移作业每次运行，会根据整库作业的配置重建子任务，不支持修改子任务后再重新运行主作业。支持整库迁移的数据源请参见支持的 - [性能调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0076.md): 根据数据迁移模型分析，除了源端读取速度、目的端写入性能、带宽优化外，您也可以通过如下方式优化作业迁移速度：使用大规格CDM集群不同规格的CDM集群网卡带宽、集群最大抽取并发数等有所差异。如果您有较高的迁移速度需求，或当前CDM集群的CPU使用率、磁盘使用率、内存使用率等指标经常在较高区间运行，建议您选用大规格的CDM集群规格进行数据迁移。 - [参考：CDM性能实测数据](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0077.md): 文中提供的性能指标仅用于参考，实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前，可先用小数据量实测进行速度摸底。CDM集群为xlarge规格，2.9.1 200版本。性能测试中，表数据规格为5000W行100列，HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和1000 - [参考：作业分片维度](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0078.md): CDM在进行作业分片时，根据源端数据源的差异，分片维度有所不同。详情如表1所示。 - [配置CDM作业定时任务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0082.md): 在表/文件迁移的任务中，CDM支持定时执行作业，按重复周期分为：分钟、小时、天、周、月。CDM在配置定时作业时，不要为大量任务设定相同的定时时间，应该错峰调度，避免出现异常。如果通过DataArts Studio数据开发调度CDM迁移作业，此处也配置了定时任务，则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突，推荐您启用数据开发调度 - [CDM作业配置管理](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0083.md): CDM作业管理界面的配置管理页签，主要操作如下：最大抽取并发数定时备份/恢复作业参数的环境变量集群过载保护最大抽取并发数即集群最大抽取并发数。此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步，在任意一处修改即可生效。CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：数据迁移作业提交运行后， - [管理单个CDM作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0084.md): 已存在的CDM作业支持查看、修改、删除、启动、停止等操作，这里主要介绍作业的查看和修改。查看作业状态作业状态有New，Pending，Booting，Running，Failed，Succeeded，stopped。其中Pending表示正在等待系统调度该作业，Booting表示正在分析待迁移的数据。作业状态有New，Pending，Bo - [批量管理CDM作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0085.md): 这里以表/文件迁移的作业为例进行介绍，指导用户批量管理CDM作业，提供以下操作：作业分组管理批量运行作业批量删除作业批量导出作业批量导入作业作业分组管理批量运行作业批量删除作业批量导出作业批量导入作业批量导出、导入作业的功能：表/文件迁移作业、表/文件迁移作业、连接均支持批量导出、导入。CDM支持将作业和连接的配置信息导出为JSON文件， - [OBS数据迁移到云搜索服务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0088.md): CDM支持在云上各服务之间相互迁移数据，本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中，流程如下：创建CDM集群创建云搜索服务连接创建OBS连接创建迁移作业已获取OBS的访问域名、端口，以及AK、SK。已经开通了云搜索服务，且获取云搜索服务集群的IP地址和端口。如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为Data - [OBS数据迁移到DLI服务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0089.md): 数据湖探索（Data Lake Insight，简称DLI）提供大数据查询服务，本章节介绍使用CDM将OBS的数据迁移到DLI，使用流程如下：创建CDM集群创建DLI连接创建OBS连接创建迁移作业已经开通了OBS和DLI，并且当前用户拥有OBS的读取权限。已经在DLI服务中创建好资源队列、数据库和表。如果是独立CDM服务，参考创建集群创建 - [Oracle数据迁移到云搜索服务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0091.md): 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将数据从Oracle迁移到云搜索服务中，流程如下：创建CDM集群并绑定EIP创建云搜索服务连接创建Oracle连接创建迁移作业已经开通了云搜索服务，且获取云搜索服务集群的IP地址和端口。已获取Oracle数 - [MySQL数据迁移到MRS Hive分区表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0092.md): MapReduce服务（MapReduce Service，简称MRS）提供企业级大数据集群云服务，里面包含HDFS、Hive、Spark等组件，适用于企业海量数据分析。其中Hive提供类SQL查询语言，帮助用户对大规模的数据进行提取、转换和加载，即通常所称的ETL（Extraction，Transformation，and Loadin - [MySQL整库迁移到RDS服务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0098.md): 本章节介绍使用CDM整库迁移功能，将本地MySQL数据库迁移到云服务RDS中。当前CDM支持将本地MySQL数据库，整库迁移到RDS上的MySQL、PostgreSQL或者Microsoft SQL Server任意一种数据库中。这里以整库迁移到RDS上的MySQL数据库（云数据库 MySQL）为例进行介绍，使用流程如下：创建CDM集群并 - [Elasticsearch整库迁移到云搜索服务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0099.md): 云搜索服务（Cloud Search Service）为用户提供结构化、非结构化文本的多条件检索、统计、报表，本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中，流程如下：创建CDM集群并绑定EIP创建云搜索服务连接创建Elasticsearch连接创建整库迁移作业拥有EIP配额。已经开通了云搜索服务，且获取云 - [MySQL数据迁移到OBS](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0100.md): CDM支持表到OBS的迁移，本章节以MySQL-->OBS为例，介绍如何通过CDM将表数据迁移到OBS中。流程如下：创建CDM集群并绑定EIP创建MySQL连接创建OBS连接创建迁移作业已获取OBS的访问域名、端口，以及AK、SK。已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限 - [MySQL数据迁移到DWS](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0101.md): CDM支持表到表的迁移，本章节以MySQL-->DWS为例，介绍如何通过CDM将表数据迁移到表中。流程如下：创建CDM集群并绑定EIP创建MySQL连接创建DWS连接创建迁移作业已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有DWS数据库的读、写和删除权限。已获取连接MySQL数据库的IP地址、端口、数据库名称、 - [MRS HDFS数据迁移到OBS](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0103.md): CDM支持文件到文件类数据的迁移，本章节以MRS HDFS-->OBS为例，介绍如何通过CDM将文件类数据迁移到文件中。流程如下：创建CDM集群并绑定EIP创建MRS HDFS连接创建OBS连接创建迁移作业已获取OBS的访问域名、端口，以及AK、SK。已经购买了MRS。拥有EIP配额。关键配置如下：CDM集群的规格，按待迁移的数据量选择， - [字段转换器配置指导](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0104.md): 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。新建字段转换器CDM可以在迁移过程中对 - [（可选）自定义工作空间角色](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0107.md): 对于非DAYUAdministrator或Tenant Administrator账号权限的IAM用户而言，DataArts Studio工作空间角色决定了其在工作空间内的权限，当前有管理员、开发者、部署者、运维者和访客这几种预置角色可被分配，角色的权限说明请参见权限列表章节。如果预置角色可以满足您的使用需求，则您可以跳过本章节；否则，请 - [文件格式介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0108.md): 在创建CDM作业时，有些场景下源端、目的端的作业参数中需要选择文件格式，这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。CSV格式JSON格式二进制格式文件格式的公共参数文件格式问题解决方法如果想要读取或写入某个CSV文件，请在选择文件格式的时候选择CSV格式。CSV格式的主要有以下使用场景：文件导入到数据库、NoSQ - [记录数据迁移入库时间](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0109.md): CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。已创建连接器源端为关系型数据库，以及目的端数据连接。目的端数据表中已有时间日期字段或时间戳字段。如自动创表场景下，需提前在目的端表中手动创建时间日期字段或时间戳字段。名称：InputTime。 - [文件增量迁移](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0112.md): CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。目前CDM支持以下文件增量迁移方式：增量导出指定目录的文件适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。关键配置：文件/路径过滤器 - [关系数据库增量迁移](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0113.md): CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。增量迁移指定时间段内的数据适用场景：源端为关系型数据库，目的端没有要求。关键配置：Where子句+定时执行作业。前提条件：数据表中有时间日期字段或时间戳字段。适用场景：源端为关系型数据库，目的端没有要求。关键配置 - [时间宏变量使用解析](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0114.md): 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量：源端的源目录或文件源端的表名通配符过滤类型中的目录过滤器和文件过滤器时间过滤中的起始时间和终止时间分区过滤条件和Where子句目的端的写入目录目的端的表名源端的源目录或文件源端的表名通配符过滤类型中的目录过滤器和文件过滤器时间过滤中的起始时间和终止时间分区过滤条 - [购买DataArts Studio实例](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0115.md): DataArts Studio采用基础包+增量包的计费模式，其中基础包即DataArts Studio实例，购买方法请参见购买DataArts Studio基础包。只有拥有DAYUAdministrator或Tenant Administrator权限的用户才可以购买DataArts Studio实例或DataArts Studio增量包 - [创建简单模式工作空间](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0116.md): 购买DataArts Studio实例的用户，系统将默认为其创建一个默认的工作空间“default”，并赋予该用户为管理员角色。您可以使用默认的工作空间，也可以参考本章节的内容创建一个新的工作空间。DataArts Studio实例内的工作空间作为成员管理、角色和权限分配的基本单元，包含了完整的DataArts Studio功能，工作空间 - [添加工作空间成员和角色](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0117.md): 对于非DAYUAdministrator或Tenant Administrator账号权限的IAM用户而言，DataArts Studio工作空间角色决定了其在工作空间内的权限。如果您需要与其他IAM用户协同使用DataArts Studio实例，请参考创建IAM用户并授予DataArts Studio权限-角色与策略或创建IAM用户并授 - [购买批量数据迁移增量包](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0119.md): 批量数据迁移增量包对应数据集成CDM集群。通过购买一个按需计费方式的批量数据迁移增量包，系统会按照您所选规格自动创建一个数据集成CDM集群。通过购买一个套餐包方式的批量数据迁移增量包，系统不自动创建CDM集群，而是在生效期内的每个计费月内按月提供745小时/月的使用时长，在绑定区域为在DataArts Studio控制台购买的对应实例规格 - [配置DLI源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0120.md): 作业中源连接为DLI连接时，源端作业参数如表1所示。DLI桶的生命周期时间默认为2天，因此当作业运行时间超过48小时，可能存在迁移数据缺失。 - [CDM支持的监控指标](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0122.md): 云监控服务（Cloud Eye）可以监控和查看云服务的运行状态、各个指标的使用情况，并对监控项创建告警规则。当您创建了CDM集群后，云监控服务会自动关联CDM的监控指标，帮助您实时掌握CDM集群的各项性能指标，精确掌握CDM集群的运行情况。本章节描述了CDM上报云监控的监控指标的命名空间、监控指标列表和维度定义。如果您需要查看CDM相关的 - [设置CDM告警规则](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0123.md): 通过设置CDM集群告警规则，用户可自定义监控目标与通知策略，及时了解CDM集群运行状况，从而起到预警作用。设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。更多关于监控告警的信息，请参见云监控用户指南。 - [查看CDM监控指标](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0124.md): 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的CDM集群刚创建完成，请等待5～10分钟后查看监控数据。CDM集群正常运行。重启失败、不可用状态的集群，无法查看其监控指标。当集群再次启 - [MongoDB/DDS增量迁移](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0125.md): 使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。在创建CD - [数据集成操作列表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0126.md): 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 - [如何查看审计日志](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0127.md): 云审计服务（Cloud Trace Service，CTS）可以记录DataArts Studio相关的操作事件，用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。在您开启了云审计服务后，系统开始记录DataArts Studio的相关操作，云审计服务的管理控制台保存最近7天的操作记录。已开通云审计服务。开通方式请参见开通云审 - [创建MRS Hive连接器](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0130.md): MRS Hive连接适用于MapReduce服务，本教程为您介绍如何创建MRS Hive连接器。已创建CDM集群。已获取MRS集群的Manager IP、管理员账号和密码，且该账号拥有数据导入、导出的操作权限。MRS集群和CDM集群之间网络互通，网络互通需满足如下条件：CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络 - [创建MySQL连接器](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0131.md): MySQL连接适用于第三方云MySQL服务，以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有MySQL数据库的读写权限。本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保M - [上传CDM连接驱动](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0132.md): JDBC即Java DataBase Connectivity，java数据库连接；JDBC提供的API可以让JAVA通过API方式访问关系型数据库，执行SQL语句，获取数据。CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。已创建集群。已参见表1下载对应的驱动。已参见FTP/SFTP连接参数说明创建SFTP - [Oracle数据迁移到DWS](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0133.md): CDM支持表到表的迁移，本章节介绍如何通过CDM将数据从Oracle迁移到数据仓库服务（Data Warehouse Service，简称DWS）中，流程如下：创建CDM集群并绑定EIP创建Oracle连接创建DWS连接创建迁移作业已购买DWS集群，并且已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码，且该用户拥有DWS数据库 - [配置Doris源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0136.md): 作业中源连接为Doris连接时，源端作业参数如表1所示。 - [HBase/CloudTable增量迁移](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0137.md): 使用CDM导出HBase（包括MRS HBase、FusionInsight HBase、Apache HBase）或者CloudTable HBase的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁 - [如何选择增量包](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0139.md): 在使用DataArts Studio进行数据开发与治理时，系统采用基础包+增量包的计费模式，您需要根据预估的业务规模购买相应的基础资源包。然而，随着业务量的增长或数据处理需求的增加，已购买的基础包资源可能无法满足实际使用需求。此时，您可以购买增量包，按需补充资源，从而灵活应对业务变化。当前DataArts Studio支持的增量包如表1所 - [购买数据服务专享集群增量包](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0140.md): 数据服务专享集群增量包对应数据服务专享版集群。购买一个数据服务专享集群增量包，系统会按照您所选规格自动创建一个数据服务专享集群。数据服务定位于标准化的数据服务平台，提供了快速将数据表生成数据API的能力，帮助您简单、快速、低成本、低风险地实现数据开放。DataArts Studio实例中默认不包含数据服务专享集群，如果您需要使用数据服务专 - [购买作业节点调度次数/天增量包](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0141.md): 作业节点调度次数/天增量包用于扩充作业节点调度次数/天配额。不同版本的DataArts Studio实例，默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的。其中数据开发作业的每天调度次数，是以节点（包含Dummy节点）为粒度进行度量的，另外补数 - [购买技术资产数量增量包](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0142.md): 技术资产数量增量包用于扩充技术资产数量配额。不同版本的DataArts Studio实例，默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。当您的技术资产数量接近或达到该规格时，建议购买技术资产数 - [购买数据模型数量增量包](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0143.md): 数据模型数量增量包用于扩充数据模型数量配额。不同版本的DataArts Studio实例，默认提供了不同的数据模型数量规格限制。该规格是以数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。当您的数据模型数量接近或达到 - [购买数据集成资源组增量包](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0145.md): 数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力，全向导式配置和管理，支持单表、整库、分库分表、全量+增量及增量同步等不同场景的数据迁移。通过购买一个按需计费方式的数据集成资源组增量包，系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。通过购买一个套餐包方式的数据集成资源 - [创建dlg_agency默认委托](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0146.md): DataArts Studio云服务默认委托dlg_agency包含DLI、OBS、DWS、SMN、MRS等服务的相关权限。DataArts Studio与这些云服务之间存在业务交互关系，需要与这些云服务协同工作，因此需要通过云服务委托将操作权限委托给DataArts Studio，让DataArts Studio以您的身份使用这些云服务 - [创建IAM用户并授予DataArts Studio权限-身份策略](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0155.md): 如果您需要对使用DataArts Studio服务的用户进行身份策略的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）。通过IAM，您可以：根据企业的业务组织，在您的华为账号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用DataArts Stud - [MRS Hudi连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0184.md): 连接MRS Hudi时，相关参数如表1所示。Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [配置MRS Hudi源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0185.md): 作业中源连接为MRS Hudi连接时，源端作业参数如表1所示。 - [配置MRS Hudi目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0186.md): 作业中目的连接为MRS Hudi连接时，目的端作业参数如表1所示。 - [支持的数据源（2.10.0.300）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0196.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [不支持数据类型转换规避指导](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0209.md): CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。SQL语句格式为：select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName.tableName; - [支持的数据类型](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0224.md): 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。源端为MySQL数据库，目的端为Hive、DWS时，支持的数据类型如下：源端为Oracle数据库，目的端为Hive、DWS时，支持的数据类型如下：源端为SQL Server数据库，目的端为Hive、DWS、Oracle时，支持的数据类型如下：源端为PostgreS - [数据仓库服务（DWS）连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0226.md): 连接数据仓库服务（DWS）时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [SAP HANA连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0227.md): 连接SAP HANA时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [配置Oracle目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0252.md): 作业中目的连接为Oracle数据库连接时，目的端作业参数如表1所示。 - [配置CDM作业字段映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0261.md): 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段，也可单击操作列下创建字段转换器。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段 - [MRS ClickHouse连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0285.md): 连接MRS ClickHouse时，相关参数如表1所示。Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [配置MRS ClickHouse源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0286.md): 作业中源连接为MRS ClickHouse连接时，源端作业参数如表1所示。 - [配置MRS ClickHouse目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0287.md): 作业中目的连接为MRS ClickHouse连接时，目的端作业参数如表1所示。当作业源端为MRS ClickHouse、DWS及Hive时：若int及float类型字段为null时，创建MRS ClickHouse表格时字段类型需设置为nullable()，否则写入到MRS ClickHouse的值会为0。请确认目的端表引擎是否为Repl - [LogHub（SLS）连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0288.md): 连接LogHub（SLS）时，相关参数如表1所示。 - [配置LogHub（SLS）源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0289.md): 作业中源连接为LogHub（SLS）连接时，源端作业参数如表1所示。 - [神通（ST）连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0290.md): 连接神通（ST）数据库时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [配置神通（ST）源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0291.md): 从神通（ST）导出数据时，源端作业参数如表1所示。 - [配置达梦数据库 DM源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0292.md): 从达梦数据库 DM导出数据时，源端作业参数如表1所示。 - [数据服务简介](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0301.md): DataArts Studio数据服务旨在为企业搭建统一的数据服务总线，帮助企业统一管理对内对外的API服务。数据服务为您提供快速将数据表生成数据API的能力，涵盖API发布、管理、运维的全生命周期管理，帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成，向合作伙伴、开发者开放功能和数据。相对于数据共享交换或其他数据开 - [新增字段操作指导](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0304.md): 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如 - [配置方式生成API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0305.md): 本节介绍如何通过配置方式生成API。使用配置方式生成数据API简单且容易上手，您无需编写任何代码，通过产品界面进行勾选配置即可快速生成API。推荐对API功能的要求不高或者无代码开发经验的用户使用。已在管理中心数据连接页面，完成数据源的配置。API生成暂不支持Hive数据源的中文表和中文列场景。API目录是按一定次序编排记录的API索引， - [脚本/MyBatis方式生成API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0306.md): 本文将为您介绍如何通过脚本或MyBatis方式生成API。为了满足高阶用户的个性化查询需求，数据服务提供了自定义SQL的脚本/MyBatis取数方式，允许您自行编写API的查询SQL，并支持多表关联、复杂查询条件以及聚合函数等能力。脚本方式：仅支持普通SQL语法。MyBatis方式：仅专享版数据服务支持此方式，此方式下脚本支持Mybati - [注册API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0307.md): 本文将为您介绍如何将已有的后端服务API，借助数据服务统一注册发布到API网关，与通过数据服务生成的API进行统一管理。目前数据服务共享版支持Restful风格的API注册，包含GET/POST常见请求方式。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts - [发布API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0308.md): 本文将为您介绍如何发布数据服务中的API。为了安全起见，在数据服务中生成的API以及注册的API，都需要发布后才能对外提供服务。已调试成功待发布的API。不支持单个或多个用户同时发布API到同一专享版集群，系统会提示“当前操作正在执行中，请稍后重试”。登录DataArts Studio管理控制台。详情请参考访问DataArts Studi - [调用API方式简介](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0309.md): 创建API时，有多种认证方式可选，不同认证方式的API支持的调用方式也有所不同，详见表1。API认证与调用方式说明认证方式安全级别授权与认证机制支持的调用方式调用方法示例使用说明（推荐）APP认证高通过APP应用将API授权给应用后，使用应用的密钥对（AppKey和AppSecret）进行安全认证。（推荐）SDK调用：支持Java、Go、 - [配置API调用流控策略](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0311.md): DataArts Studio数据服务的API流量控制基于指定规则对API的访问流量进行调节控制的限流策略，能够提供多种维度的后端服务保护功能。当前API流控支持通过用户、应用和时间段等不同维度限制API的调用次数。为了提供持续稳定的服务，您需要通过创建并选择流控策略，针对部分API进行流量控制。流控策略和API本身是相互独立的，只有将流 - [配置数据服务审核中心](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0312.md): 数据服务平台的审核中心，提供给API开放方和API调用方用以审核API的发布等操作。在发布API时，会触发审核，审核机制如下：当发布人不具备审核人权限时，发布API时需要提交给审核人审核。当发布人具备审核人权限时，可无需审批直接发布API。当发布人不具备审核人权限时，发布API时需要提交给审核人审核。当发布人具备审核人权限时，可无需审批直 - [新建数据服务审核人](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0313.md): 在发布API时，会触发审核，审核机制如下：当发布人不具备审核人权限时，发布API时需要提交给审核人审核。当发布人具备审核人权限时，可无需审批直接发布API。当发布人不具备审核人权限时，发布API时需要提交给审核人审核。当发布人具备审核人权限时，可无需审批直接发布API。因此，如果不具备审核人权限的用户需要发布API时，请先添加审核人。只有 - [管理专享版集群](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0314.md): 本小节指导您顺利购买专享版实例，实例创建完成后，才能在数据服务专享版创建API并对外提供服务。如果需要创建、删除专享版集群或修改API配额，则需具备以下权限之一的账号才能进行操作：DAYU Administrator并且拥有VPCEndpoint Administrator权限。Tenant Administrator并且拥有VPCEnd - [共享版与专享版数据服务的对比](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0315.md): 数据服务当前提供共享版与专享版两种服务方式。其中共享版数据服务即开即用但仅限于存量用户调测使用，专享版数据服务需要购买专享集群增量包并在集群中管理API。数据服务共享版仅供开发测试使用，受限于服务稳定性和生命周期策略已下线，若需要使用数据服务，请购买数据服务专享集群增量包。专享版数据服务常用于企业内部系统解耦，各服务部署在云上的VPC内， - [调试API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0316.md): API创建后需要验证服务是否正常，管理控制台提供调试功能，您可以添加HTTP头部参数与body体参数，调试API接口。后端路径中含有环境变量的API，不支持调试。API绑定签名密钥时，不支持调试。如果API已绑定流控策略，在调试API时，流控策略无效。已创建待调试的API。登录DataArts Studio管理控制台。详情请参考访问Dat - [停用/恢复API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0318.md): 当已发布的API需要编辑、调试时，必须将API从相关环境中停用后才允许操作。停用API会保留原有的授权信息，在停用期间您可以对API进行编辑、调试等操作。停用后您可以通过恢复API，使该API继续对外提供服务。停用API将导致此API在指定的时间无法被访问，请确保已经告知使用此API的用户。已创建API。API已发布到该环境。登录Data - [下线/删除API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0319.md): 已发布的API因为其他原因需要停止对外提供服务，可以将API从相关环境中下线，相关操作请参见下线API。下线后的API如果要继续使用，需要重新进行发布操作，但需注意下线API不会保留原有的授权信息。下线后的API如果确认不再提供服务，可以将API删除，相关操作请参见删除API。下线将导致此API在指定的时间无法被访问，请确保已经告知使用此 - [全量导出/导出/导入API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0320.md): 数据服务支持全量导出/批量导出/导入API，可以快速复制或迁移现有的API。全量导出必须具备DAYU Administrator或Tenant Administrator权限。每个工作空间每分钟仅能全量导出一次，同时只能有一个全量导出任务执行。导入API时，仅专享版支持导入后直接发布API、更新重名API，以及按照导入文件定义自动新建审核 - [同步API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0321.md): 您可以通过同步API功能，在数据服务共享版与专享版之间进行同步API，或将共享版与专享版的API同步至数据地图。已创建API。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作 - [复制API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0322.md): 您可以通过复制API功能，得到与原API配置相同的API。已创建API。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据服务模块，进入数据服务页面。在左侧导航栏选择 - [设置API可见](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0323.md): 当需要修改API在服务目录中的可见范围时，可以通过“设置可见”功能或编辑API中的“服务目录可见性”参数进行设置。已创建API。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工 - [编排API简介](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0324.md): 数据服务API编排是指将已经开发好的服务API接口，在无需编写复杂代码的情况下，根据特定的业务逻辑和流程进行可视化的重组和重构，从而实现在不影响原生接口的前提下进行简便的二次开发。API编排为您提供拖拽式、可视化的API工作流程编排能力，您可以按照业务逻辑，以串行、并行等结构组合多个API为工作流，然后通过入口API调用API工作流，最终 - [配置入口API算子](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0326.md): 入口API算子是API工作流的入口，工作流发布后可通过调用入口API来调用API工作流。在入口API算子内需定义API工作流的名称、URL、参数协议、请求方式、审核人、安全认证以及请求参数。 - [配置条件分支算子](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0327.md): 条件分支算子通过获取上游算子的请求参数或结果集进行条件判断，根据定义的表达式来确定下一步执行的分支。注意，多个分支满足条件时仅执行第一个满足条件的分支。在定义条件分支的表达式时，需要配置变量表达式。当前仅入口API和普通API支持定义变量，条件分支、并行处理和输出处理暂不支持。表达式标准写法为：${节点编码|变量名}，定义方法如表2所示。 - [配置并行处理算子](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0328.md): 并行处理算子可以同时执行多个分支逻辑，分支间互不影响。 - [配置输出处理算子](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0329.md): 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换，以确定最终返回的数据格式。 - [API编排典型配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0330.md): API编排的典型使用场景如下：对返回消息进行映射或格式转换：通过API编排的方式能够灵活实现消息映射及格式转换。数据请求依赖多个数据API：使用API编排后，可以降低调用次数，减少集成成本，提升调用效率。对返回消息进行映射或格式转换：通过API编排的方式能够灵活实现消息映射及格式转换。数据请求依赖多个数据API：使用API编排后，可以降低 - [配置MongoDB目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0332.md): 作业中目的连接为MongoDB连接时，目的端作业参数如表1所示。 - [通过应用授权APP认证方式API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0333.md): 应用定义了一个API调用者的身份。对于使用APP认证方式的API，必须在创建APP类型应用并将API授权给应用后，才能获得认证信息以用于API调用。一个APP认证方式的API可以授权给多个APP类型的应用，多个APP认证方式的API也可以授权给同一个APP类型的应用。API授权后，在调用时就可以使用任意授权应用的密钥对（AppKey和Ap - [申请API授权](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0334.md): 对于API调用者而言，如果API开发者未授权APP或IAM认证方式的API，则需要自行申请API授权，等待审批通过后才能进行API调用。如果API开发者已完成授权APP或IAM认证方式的API给应用（详见通过应用授权APP认证方式API、通过应用授权IAM认证方式API或通过白名单授权IAM认证方式API），则无需再进行本章的相关操作。对 - [通过应用授权IAM认证方式API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0337.md): IAM认证方式的API当前支持应用和白名单两种授权方式，通过IAM类型应用授权仅能授权给当前账号，而通过白名单授权可授权给任意账号，请您根据使用场景任选一种方式进行授权。通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号，每个DataArts Studio实例下仅能创建一个。因此，将IAM认证方式的API授权给IAM类型的应用， - [通过白名单授权IAM认证方式API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0338.md): IAM认证方式的API当前支持应用和白名单两种授权方式，通过IAM类型应用授权仅能授权给当前账号，而通过白名单授权可授权给任意账号，请您根据使用场景任选一种方式进行授权。通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号，每个DataArts Studio实例下仅能创建一个。因此，将IAM认证方式的API授权给IAM类型的应用， - [API版本管理](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0339.md): 数据服务专享版支持将API按照不同版本进行管理，可根据不同的API版本，分别进行调测、发布。您也可以根据API版本追踪API的变更情况，支持版本对比。系统最多保留最近10条的版本记录，更早的版本记录会被删除。仅专享版支持API版本管理。API更新版本是通过对已发布的API进行编辑后再次发布实现的。API如果处于发布、下线、停用、恢复的待审 - [新建DataArts Studio与MRS Hive数据湖的连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0351.md): 本章节以新建MRS Hive连接为例，介绍如何建立DataArts Studio与数据湖底座之间的数据连接。在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。在创建MRS HBase、MR - [新建DataArts Studio与DWS数据湖的连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0352.md): 本章节以新建DWS连接为例，介绍如何建立DataArts Studio与数据仓库底座之间的数据连接。在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。在创建MRS HBase、MRS Hi - [新建DataArts Studio与MySQL数据库的连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0353.md): 本章节以新建MySQL连接为例，介绍如何建立DataArts Studio与数据库底座之间的数据连接。在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。在创建DWS类型的数据连接前，您需要先在DWS服务中创建集群，并且具有KMS密钥的查看权限。在创建MRS HBase、MRS H - [（推荐）通过SDK调用APP认证方式的API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0355.md): APP认证方式的API接口可以分别绑定不同的应用，安全级别最高。而APP认证方式的API使用SDK调用方式，支持Java、Go、Python、JavaScript、C#、PHP、C++、C、Android等多种语言，可帮助您简单、快速地通过数据API获取到开放数据。本章以Java SDK为例，为您介绍如何使用SDK调用APP认证方式的AP - [通过API工具调用APP认证方式的API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0356.md): APP认证方式的API接口可以分别绑定不同的应用，安全级别最高。如果您需要API工具调用APP认证方式的API，则需要先通过JavaScript SDK包中的demo.html手动生成认证信息，再使用API工具调用。本章节以Postman工具为例，为您介绍如何使用API工具调用APP认证方式的API，主要包含如下几步：获取APP和API信 - [通过API工具调用IAM认证方式的API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0357.md): IAM认证方式的API调用前，需要调用IAM服务的获取用户Token接口获取Token，然后通过Token进行安全认证。本章节以Postman工具为例，为您介绍如何使用API工具调用IAM认证方式的API，主要包含如下几步：获取API信息：准备API关键信息，用于API调用。获取Token：调用IAM服务的获取用户Token接口获取Tok - [通过API工具调用无认证方式的API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0358.md): 无认证方式的API可以通过API工具直接调用，无需获取认证信息。无认证方式建议仅在测试接口时使用，不推荐正式使用。若调用方为不可信任用户，则存在数据库安全风险（如数据泄露、数据库高并发访问导致宕机、SQL注入等风险）。本章节以Postman工具为例，为您介绍如何使用API工具调用无认证方式的API，主要包含如下几步：获取API信息：准备A - [通过浏览器调用无认证方式的API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0359.md): 当无认证方式的API入参位置在Query或Path时，支持直接通过浏览器调用。无认证方式建议仅在测试接口时使用，不推荐正式使用。若调用方为不可信任用户，则存在数据库安全风险（如数据泄露、数据库高并发访问导致宕机、SQL注入等风险）。本章节以Chrome浏览器为例，为您介绍如何使用浏览器调用无认证方式的API，主要包含如下几步：获取API信 - [配置DWS源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0387.md): 作业中源连接为DWS连接时，源端作业参数如表1所示。 - [配置SAP HANA源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0388.md): SAP HANA作为源端作业参数如表1所示。 - [数据开发概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0401.md): 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖工厂”、“DLF”均可用于指代“数据开发”模块。使用数据开发模块，用户可进行 - [数据管理流程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0402.md): 数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以：支持管理DWS、MRS Hive、DLI等多种数据湖。支持可视化和DDL方式管理数据库表。注意，在MRS API连接方式下，不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。单击可以查看数据连接目录树下的数据库、数据表以及字段信 - [新建数据连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0404.md): 通过新建数据连接，您可以在数据开发模块中对相应服务进行更多数据操作，例如：管理数据库、管理命名空间、管理数据库模式、管理数据表。在同一个数据连接下，可支持多个作业运行和多个脚本开发，当数据连接保存的信息发生变化时，您只需在连接管理中编辑修改该数据连接的信息。数据开发模块的数据连接，是基于管理中心的数据连接完成的，创建方法请参考配置Data - [新建数据库](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0405.md): 数据连接创建完成后，您可以基于数据连接，通过可视化模式或SQL脚本方式新建数据库。（推荐）可视化模式：您可以直接在DataArts Studio数据开发模块通过No Code方式，新建数据库。SQL脚本方式：您也可以在DataArts Studio数据开发模块或对应数据湖产品的SQL编辑器上，开发并执行用于创建数据库的SQL脚本，从而创建 - [（可选）新建数据库模式](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0412.md): DWS数据连接创建完成后，可以在右侧区域中管理DWS数据连接的数据库模式。如果已有的数据库模式满足您的使用需求，则您可以跳过本章节；否则，请您按照本章节描述新建数据库模式。已新建DWS数据连接，请参见新建数据连接。已新建DWS数据库，请参见新建数据库。登录DataArts Studio管理控制台。详情请参考访问DataArts Studi - [新建数据表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0416.md): 您可以通过可视化模式、DDL模式或SQL脚本方式新建数据表。（推荐）可视化模式：您可以直接在DataArts Studio数据开发模块通过No Code方式，新建数据表。（推荐）DDL模式：您可以在DataArts Studio数据开发模块，通过选择DDL方式，使用SQL语句新建数据表。SQL脚本方式：您也可以在DataArts Stud - [脚本开发流程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0422.md): 脚本开发功能提供如下能力：提供在线脚本编辑器，支持进行SQL、Shell、Python等脚本在线代码开发和调测。支持导入和导出脚本。支持使用变量和函数。提供编辑锁定能力，支持多人协同开发场景。支持脚本的版本管理能力，支持生成保存版本和提交版本。保存版本时，一分钟内多次保存只记录一次版本。对于中间数据比较重要时，可以通过“新增版本”按钮手动 - [新建脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0423.md): 数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本，开发脚本前请先新建脚本。已完成新建数据连接和新建数据库等操作。脚本在每个工作空间的最大配额为20000，脚本目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。新建目录（可选，如果已存在可用的目录，可以不用新建目录）登录Dat - [开发SQL脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0424.md): 数据开发支持对SQL脚本进行在线开发、调试和执行，开发完成的脚本可以在作业中调度运行（请参见开发Pipeline作业）。数据开发模块支持如下类型SQL脚本。不同数据源的SQL语法有所差异，开发SQL语句前请预先了解各数据源的语法规则。DLI SQL脚本：请参见SQL语法参考。Hive SQL脚本：请参见SQL语法参考。DWS SQL脚本： - [开发Shell脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0425.md): 数据开发支持对Shell脚本进行在线开发、调试和执行，开发完成的脚本可以在作业中调度运行（请参见开发Pipeline作业）。已新增Shell脚本，请参见新建脚本。已新建主机连接，该Linux主机用于执行Shell脚本，请参见主机连接参数说明。连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。Shell或Python脚本可以在该 - [复制名称与重命名脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0426.md): 您可以通过复制名称功能复制当前脚本名称，通过重命名功能修改当前脚本名称。已完成脚本开发，请参见开发脚本。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进 - [移动脚本/脚本目录](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0427.md): 您可以通过移动功能把脚本文件从当前目录移动到另一个目录，也可以把当前脚本目录移动到另一个目录中。已完成脚本开发，请参见开发脚本。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工 - [导出导入脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0428.md): 您可以在脚本目录中导出一个或多个脚本文件，导出的为开发态最新的已保存内容。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进入数据开发页面。在数据开发主界 - [删除脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0429.md): 当您不需要使用某个脚本时，可以参考如下操作删除该脚本。删除脚本时会检查脚本被哪个作业引用，引用列表中显示“版本”，表示此脚本被哪些作业版本引用。单击删除时，会删除对应的作业和这个作业的所有版本信息。如果某一个待删除的脚本正在被作业关联，请确保强制删除脚本后，不影响业务使用。如果希望作业能继续正常使用，请前往作业开发页面，重新关联可用的脚本 - [复制脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0430.md): 本章节主要介绍如何复制一个脚本。已完成脚本开发，请参见开发脚本。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进入数据开发页面。在数据开发主界面的左侧导 - [作业开发流程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0432.md): 作业开发功能提供如下能力：提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型，通过任务间依赖完成复杂数据分析处理。支持多种作业调度方式。支持导入和导出作业。支持作业状态运维监控和作业结果通知。提供编辑锁定能力，支持多人协同开发场景。支持作业的版本管理能力，支持生成保存版 - [新建作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0434.md): 作业由一个或多个节点组成，共同执行以完成对数据的一系列操作。开发作业前请先新建作业。作业在每个工作空间的最大配额为10000，作业目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。如果已存在可用的目录，则可以跳过当前操作。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控 - [开发Pipeline作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0435.md): 对已新建的作业进行开发和配置。创建作业的大小不超过1MB。开发Pipeline模式的批处理作业和实时处理作业，请您参考编排作业节点、配置作业基本信息、配置作业参数和调测并保存作业章节。已创建作业，详情请参见新建作业。当前用户已锁定该作业，否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定，详情参见编辑锁定功 - [复制名称和重命名作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0436.md): 您可以通过复制名称功能复制当前作业名称，通过重命名功能修改当前作业名称。已完成作业开发。如何开发作业，请参见开发Pipeline作业。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择 - [移动作业/作业目录](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0437.md): 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。已完成作业开发。如何开发作业，请参见开发Pipeline作业。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工 - [导出导入作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0438.md): 导出指定作业，均是导出开发态的最新的已保存内容。导出工作空间，均是导出来工作空间的作业变更的作业文件。全量导出当前导出上限是10000个。导入作业，会覆盖开发态的内容并自动提交一个新版本。数据开发在跨时区导出导入作业时，需要手动修改expressionTimeZone字段为目标时区。详情请参考访问DataArts Studio实例控制台。 - [删除作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0439.md): 当用户不需要使用某个作业时，可以参考如下操作删除该作业，以减少作业的配额占用。作业删除后，将无法恢复，请确保删除作业后，不影响业务。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对 - [复制作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0440.md): 本章节主要介绍如何复制一份作业。已完成作业开发。如何开发作业，请参见开发Pipeline作业。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进入数据开发 - [节点概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0442.md): 节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点，您可以根据业务模型选择所需的节点。节点的参数支持使用EL表达式，EL表达式的使用方法详见表达式概述。节点间的连接方式支持串行和并行。串行连接：按顺序逐个执行节点，当A节点执行完成后，再执行B节点。并行连接：A节点和B节点同时执行。连接示意图串 - [CDM Job](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0443.md): 通过CDM Job节点执行一个预先定义的CDM作业，实现数据迁移功能。该节点与云数据迁移（CDM）进行联动，把CDM作业在数据开发平台进行调度。此节点用于执行一个指定的CDM集群里面的一个作业。如果CDM作业中配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为（数据开发作业计划启动时 - [DIS Stream](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0444.md): 通过DIS Stream节点查询DIS通道的状态，如果DIS通道运行正常，继续执行后续的节点；如果DIS通道运行异常，DIS Stream将报错并退出，此时如果需要继续执行后续的节点，请配置失败策略为继续执行下一节点，请参见表2。此节点用于监控一个DIS通道。用户可参考表1和表2配置DIS Stream节点的参数。 - [DIS Dump](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0445.md): 通过DIS Dump节点配置DIS的数据转储任务。此节点用于配置一个DIS通道的转储任务。用户可参考表1和表2配置DIS Dump节点的参数。 - [DIS Client](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0446.md): 通过DIS Client节点可以给DIS通道发送消息。您可以参考跨空间进行作业调度，获取DIS Client节点的使用案例。用户可参考表1配置DIS Client节点的参数。 - [Rest Client](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0447.md): 通过Rest Client节点执行一个华为云内的RESTful请求。该节点可执行各种服务请求，支持GET、POST、PUT、DELETE请求类型。Rest Client算子的具体使用教程，请参见获取Rest Client算子返回值教程。当由于网络限制，Rest Client某些API无法调通时，可以尝试使用Shell脚本进行API调用。您 - [Import GES](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0448.md): 图引擎服务（Graph Engine Service，简称GES）是针对以“关系”为基础的“图”结构数据，进行查询、分析的服务。通过Import GES节点可以将OBS桶中的文件导入到GES的图中。Import GES算子的具体使用教程，请参见基于MRS Hive表构建图数据并自动导入GES。用户可参考表1和表2配置Import GES节 - [DLI SQL](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0450.md): 通过DLI SQL节点传递SQL语句到DLI SQL中执行，实现多数据源分析探索。DLI SQL适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。该节点方便用户在数据开发模块的周期与实时调度中执行DLI相关语句，可以使用参数变量为用户的数仓进行增量导入，分区处理等动作。用户可参考表1，表2和表3配置DLI SQL节点 - [配置默认项](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_04501.md): 本章节主要介绍默认项的配置规则。当前只有具备DAYUAdministrator或Tenant Administrator账号权限的用户才有默认配置项的相关操作权限。配置权限的详细操作请参见创建IAM用户并授予DataArts Studio权限-角色与策略或创建IAM用户并授予DataArts Studio权限-身份策略。默认配置项是指在系 - [DLI Spark](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0451.md): 通过DLI Spark节点执行一个预先定义的DLI Spark作业。DLI Spark可通过交互式会话（session）和批处理（batch）方式提交计算任务。通过在DLI提供的弹性资源池队列上提交作业，简化了资源管理和作业调度。DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。用户可参考表1，表2和表3配置DL - [DWS SQL](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0452.md): 通过DWS SQL节点传递SQL语句到DWS中执行。DWS表示数据仓库服务，是一种基于公有云基础架构和平台的在线数据处理数据库。DWS SQL算子的具体使用教程，请参见开发一个DWS SQL脚本作业。该节点方便用户在数据开发模块的批处理作业和实时处理作业中执行DWS相关语句，可以使用参数变量为用户的数据仓库进行增量导入，分区处理等操作。用 - [MRS Spark SQL](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0453.md): 通过MRS Spark SQL节点执行数据开发模块中预先定义的Spark SQL脚本。Spark是一个开源的，并行数据处理框架，能够帮助用户简单、快速地开发大数据应用，对数据进行离线处理、流式处理、交互式分析等。用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 - [MRS Hive SQL](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0454.md): 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。该节点可以传递SQL语句到Hive中执行，支持DML与DDL SQL语句。Hive是建立在Hadoop上的数据仓库基础构架。它可以用来进行数据提取转化加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语 - [MRS Spark](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0455.md): 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。Spark是一个开源的，并行数据处理框架，能够帮助用户简单、快速地开发大数据应用，对数据进行离线处理、流式处理、交互式分析等。用户可参考表1，表2和表3配置MRS Spark节点的参数。 - [MRS Spark Python](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0456.md): 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。用户可参考表1，表2和表3配置MRS Spark Python节点的参数。 - [MRS MapReduce](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0457.md): 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。在MapReduce程序中计算的数据可以来自多个数据源，最常用的是HDFS，利用HDFS的高吞吐性能读取大规模的数据进行计算，同时在计算完成后，也可以将数据存储到HDFS。用户可 - [CSS](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0458.md): 通过CSS节点执行云搜索请求，实现在线分布式搜索功能。用户可参考表1和表2配置CSS节点的参数。 - [Shell](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0459.md): 通过Shell节点执行用户指定的Shell脚本。Shell节点的后续节点可以通过EL表达式#{Job.getNodeOutput()}，获取Shell脚本最后4000字符的标准输出。使用示例：获取某个Shell脚本（脚本名称为shell_job1）输出值包含“jack”的内容，EL表达式如下所示：数据开发中的sh - [RDS SQL](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0460.md): 通过RDS SQL节点传递SQL语句到RDS中执行。用户可参考表1和表2配置RDS SQL节点的参数。 - [ETL Job](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0461.md): 通过ETL Job节点可以从指定数据源中抽取数据，经过数据准备对数据预处理后，导入到目标数据源。目标端是DWS的ETL Job节点，不支持使用委托进行调度，建议采用兼容性更佳的公共IAM账号方式进行调度，详见配置调度身份。用户可参考表1，表2和表3配置ETL Job节点的参数。 - [Create OBS](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0462.md): OBS路径不支持s3a://开头的日志路径。该功能依赖于OBS服务。通过Create OBS节点在OBS服务中创建桶和目录。用户可参考表1和表2配置Create OBS节点的参数。 - [Delete OBS](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0463.md): 该功能依赖于OBS服务。通过Delete OBS节点在OBS服务中删除桶和目录。用户可参考表1和表2配置Delete OBS节点的参数。 - [OBS Manager](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0464.md): 该功能依赖于OBS服务。通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。用户可参考表1，表2和表3配置OBS Manager节点的参数。 - [Open/Close Resource](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0465.md): 通过Open/Close Resource节点按需开启或关闭华为云服务。用户可参考表1和表2配置Open/Close Resource节点的参数。 - [Sub Job](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0467.md): 通过Sub Job节点可以调用另外一个批处理作业。用户可参考表1和表2配置Sub Job节点的参数。 - [SMN](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0468.md): 通过SMN节点向用户发送通知消息。用户可参考表1和表2配置SMN节点的参数。 - [Dummy](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0469.md): Dummy节点是一个空的节点，不执行任何操作。用于简化节点的连接视图，便于用户理解复杂节点流的连接关系，示例如图1所示。用户可参考表1配置Dummy节点的参数。 - [调度作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0470.md): 对已编排好的作业设置调度方式。如果您的作业是批处理作业，您可以配置作业级别的调度任务，即以作业为一个整体进行调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务（批处理作业）。如果您的作业是实时处理作业，您可以配置节点级别的调度任务，即每一个节点可以独立调度，支持单次调度、周期调度、事件驱动调度三种调度方式。 - [查看脚本引用](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0471.md): 当您需要查看某个脚本或者某个文件夹下的所有脚本被引用的情况时，可以参考如下操作查看引用。已完成脚本开发，请参见开发脚本。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的 - [Data Quality Monitor](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0472.md): 数据开发调用数据质量算子时，数据开发作业可以指定并发次数。但是，对于数据质量来说，一个质量作业或者对账作业运行时，同一时间只能存在一个实例，数据质量作业并不支持并发运行，单个作业运行后，再次运行返回的还是上次未运行完的作业实例。通过Data Quality Monitor节点可以对运行的数据进行质量监控。用户可参考表1和表2配置Data - [Data Migration](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0475.md): 该节点用于执行一个集成作业，Data Migration节点支持离线处理集成作业和实时处理集成作业。用户可参考表1和表2配置Data Migration节点的参数。 - [Notebook](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0488.md): 通过Notebook节点执行一个在DLI中预先定义的Notebook作业。该功能依赖于OBS服务。用户可参考表1和表2配置Notebook节点的参数。 - [表达式概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0494.md): 数据开发模块作业中的节点参数可以使用表达式语言（Expression Language，简称EL），根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。作业对象：提供了获取作业中上一个节点的输出消息、作业 - [基础操作符](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0495.md): EL表达式支持大部分Java提供的算术和逻辑操作符。如果变量a为空，返回default，否则返回a本身。EL表达式如下： - [日期和时间模式](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0496.md): EL表达式中的日期和时间可以按用户指定的格式进行显示，日期和时间格式由日期和时间模式字符串指定。日期和时间模式字符串由A到Z、a到z的非引号字母组成，字母的含义如表1所示。日期和时间模式一般在DateUtil内嵌对象和Job内嵌对象中使用，更多日期和时间模式的使用举例，请参见DateUtil内嵌对象和Job内嵌对象。获取作业计划调度时间的 - [Env内嵌对象](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0497.md): Env内嵌对象提供了获取环境变量值的方法。获取环境变量名称为test的参数值，EL表达式如下： - [Job内嵌对象](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0498.md): Job为作业对象，提供了获取作业中上一节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。获取作业中节点名称为test的输出结果，EL表达式如下： - [StringUtil内嵌对象](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0499.md): StringUtil内嵌对象提供了一系列字符串操作方法，例如从一个字符串中截取一个子字符串。StringUtil内部是由org.apache.commons.lang3.StringUtils实现的，具体使用方法请参考apache commons文档。假设变量a为字符串No.0010，返回.后面的子字符串，EL表达式如下：假设变量b为字符 - [DateUtil内嵌对象](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0500.md): DateUtil内嵌对象提供了一系列时间格式化、时间计算方法。以作业调度计划时间的前一天时间作为子目录名称，生成一个OBS路径，EL表达式如下： - [JSONUtil内嵌对象](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0501.md): JSONUtil内嵌对象提供了JSON对象方法。字符串变量str的内容如下：获取city1的电话区号，EL表达式如下： - [EL表达式使用示例](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0502.md): 通过本示例，用户可以了解数据开发模块EL表达式的如下应用：如何在数据开发模块的SQL脚本中使用变量？作业如何传递参数给SQL脚本变量？在参数中如何使用EL表达式？使用数据开发模块的作业编排和作业调度功能，每日通过统计交易明细表，生成日交易统计报表。本示例涉及的数据表如下所示：trade_log：记录每一笔交易数据。trade_report - [解决方案](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0503.md): 解决方案定位于为用户提供便捷的、系统的方式管理作业，更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业，一个作业可以被多个解决方案复用。数据开发模块目前支持处理以下几种方式的解决方案。新建解决方案编辑解决方案导出解决方案导入解决方案升级解决方案删除解决方案在数据开发模块的开发页面，新建一个解决方案，设置解决方案名称并选 - [配置环境变量](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0504.md): 本章节主要介绍环境变量的配置和使用。配置作业参数，当某参数隶属于多个作业，可将此参数提取出来作为环境变量，环境变量支持导入和导出。简单模式和企业模式下，配置工作空间的环境变量的角色有所不同：简单模式：工作空间的环境变量开发者和管理员都能创建或编辑环境变量。简单模式不区分开发和生产环境，环境变量是共用的，允许开发者修改。企业模式：工作空间的 - [运维概览](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0506.md): 在运维调度运维概览页面，用户可以通过图表的形式查看作业实例的统计数据，目前支持查看以下列举的统计数据。运行状态通过时间和责任人可以筛选出今天的我的或者全部责任人的作业实例调度运行状态概览通过时间和责任人可以筛选出昨天的我的或者全部责任人的作业实例调度运行状态概览通过时间和责任人可以筛选出前天的我的或者全部责任人的作业实例调度运行状态概览通 - [批作业监控](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0508.md): 批作业监控提供了对批处理作业的状态进行监控的能力。批处理作业支持作业级别的调度计划，可以定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。您可以在作业监控 > 批作业监控页面查看批处理作业的调度状态、调度周期、 - [实时作业监控](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0509.md): 实时作业监控提供了对实时处理作业的状态进行监控的能力。实时处理作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。您可以在作业监控 > 实时作业监控页 - [实例监控](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0511.md): 作业每次运行，都会对应产生一次作业实例记录。在数据开发模块控制台的左侧导航栏，选择 运维调度，进入实例监控列表页面，用户可以在该页面中查看作业的实例信息，并根据需要对实例进行更多操作。实例监控只能展示最近6个月的数据。实例监控支持从“作业名称”、“创建人”、“责任人”、“CDM作业”、“节点类型”和“作业标签”等维度搜索实例。其中按照“C - [补数据监控](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0512.md): 在数据开发模块控制台的左侧导航栏，选择运维调度补数据监控，进入补数据的任务监控页面。用户可以在图1的页面中，查看补数据的任务状态、业务日期、并行周期数、补数据作业名称、创建人、创建时间以及停止运行中的任务。系统支持按补数据名称、创建人、日期和状态进行筛选。补数据监控仅展示最近6个月的数据。在图1的页面中，单击补数据名称，进入图2的页面。在 - [管理通知](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0514.md): 用户可以通过通知管理功能配置作业通知任务，当作业运行异常或成功时向相关人员发送通知。为作业配置通知前：已开通消息通知服务并配置主题。作业已提交，且不是未启动状态。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts - [通知周期概览](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0515.md): 用户可以按照天/周/月为调度周期配置通知任务，向相关人员发送通知。让相关人员可以定期跟踪作业的调度情况（作业调度成功数量，作业调度失败异常数量以及作业失败详情）。该功能依赖于OBS服务。已开通消息通知服务并配置主题，为主题添加订阅。已提交作业，且作业不是未启动状态。已开通对象存储服务，并在OBS中创建文件夹。登录DataArts Stud - [备份管理](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0516.md): 通过备份功能，您可定时备份系统中的所有作业、脚本、资源和环境变量。通过还原功能，您可还原已备份的资产，包含作业、脚本、资源和环境变量。该功能依赖于OBS服务。当前备份内容不会自动老化删除，您需要定期手动清理备份文件。已开通对象存储服务，并在OBS中创建文件夹。登录DataArts Studio管理控制台。详情请参考访问DataArts S - [管理资源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0519.md): 用户可以通过资源管理功能，上传自定义代码或文本文件作为资源，在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。创建资源后，配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更，只需要修改资源引用的位置即可，不需要修改作业配置。关于资源的使用样例请参 - [开发一个DLI Spark作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0521.md): 在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。用户在使用DLI服务时，大部分时间会使用SQL对数据进行分析处理，有时候处理的逻辑特别复杂，无法通过SQL处理，那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。操作流程如下：创建DLI集群，通过DLI集群的物理资源来运行Sp - [开发一个Hive SQL作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0522.md): 本章节介绍如何在数据开发模块上进行Hive SQL开发。数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可以将SQL语句转换为MapReduce任务进行运行。已开通MapReduce服务MRS，并创建MRS集 - [开发一个DWS SQL作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0524.md): 介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。本教程通过开发一个DWS作业来统计某门店的前一天销售额。已开通DWS服务，并创建DWS集群，为DWS SQL提供运行环境。已开通CDM增量包，并创建CDM集群。CDM集群创建时，需要注意：虚拟私有云、子网、安全组与DWS集群保持一致，确保网络互通。CDM集群创建时，需要注意：虚拟 - [开发一个MRS Spark Python作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0525.md): 本章节介绍如何在数据开发模块上进行MRS Spark Python作业开发。前提条件：开发者具有OBS相关路径的访问权限。数据准备：准备脚本文件"wordcount.py"，具体内容如下：# -*- coding: utf-8 -* import sys from pyspark import SparkConf, SparkContex - [开发一个MRS Flink作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0526.md): 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。本教程通过开发一个MRS Flink作业来实现统计单词的个数。具有OBS相关路径的访问权限。已开通MapReduce服务MRS，并创建MRS集群。下载Flink作业资源包"wordcount.jar"，下载地址：https://github.com/huaweicloudDoc - [MRS ClickHouse](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0528.md): 通过MRS ClickHouse节点执行数据开发模块中预先定义的ClickHouse SQL脚本。ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型 - [开发一个Python作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0529.md): 本章节介绍如何在数据开发模块上开发并执行Python作业示例。已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。本示例主机选择CentOS 8.0 64bit with ARM(40GB)的公共镜像，并且使用ECS自带的Python环境，您可登录主机后使用python命令确认服务器的Python环境。本示例主机选择Cen - [（可选）修改作业日志存储路径](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0530.md): 作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。该功能依赖于OBS服务。OBS路径仅支持OBS桶，不支持并行文件系统。修改工作空间的用户账号，需要满足如下任一条件：DAYUAdministrator或Tenant Admi - [批量配置作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0531.md): 登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进入数据开发页面。在数据开发主界面的左侧导航栏，选择数据开发作业开发。单击作业目录中的，选择显示复选框。显 - [管理作业标签](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0532.md): 作业标签用于给相同或用途类似的作业打上标签，便于管理作业，并根据标签查询作业。参考本节操作，您可管理作业标签，执行新增、删除、导入、导出等操作。详情请参考访问DataArts Studio实例控制台。作业标签默认最多创建100个，作业标签数量是通过配置项控制。当作业标签处于“锁定”状态时，无法删除该作业标签。如需解锁作业标签，请参考锁定与 - [Loop内嵌对象](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0534.md): 使用Loop内嵌对象可获取For Each节点数据集中的数据。For Each节点的子作业参数，获取当前处理到的某行数据的第2个值，EL表达式如下： - [For Each](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0535.md): 该节点可以指定一个子作业循环执行，并支持用一个数据集对子作业中的变量进行循环替换。For Each节点的具体使用教程，请参见For Each节点使用介绍。For Each节点单次运行时，指定的子作业最多循环执行1000次。如果DLI SQL作为前置节点，For Each节点最多支持100个子作业。用户可参考表1配置For Each节点的参 - [DLI Flink Job](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0536.md): DLI Flink作业专为实时数据流处理设计，适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。DLI Flink Job节点用于创建和执行一个DLI Flink作业，或者查询DLI作业是否正在运行，实现实时流式大数据分析。DLI Flink流式作业提交到DLI之后，若处于运行中的状态，则认为节点执行成功。若作业配置了周期 - [MRS Kafka](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0537.md): MRS Kafka主要是查询Topic未消费的消息数。Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。Kafka作为一个消息发 - [Kafka Client](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0538.md): 通过Kafka Client向Kafka的Topic中发送数据。您可以参考跨空间进行作业调度，获取Kafka Client节点的使用案例。用户可参考表1配置Kafka Client节点的参数。 - [开发一个Shell作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0539.md): 本章节介绍如何在数据开发模块上开发并执行Shell作业示例。已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。本示例主机选择CentOS 8.0 64bit with ARM(40GB)的公共镜像，并且使用ECS自带的Shell环境，您可登录主机后使用shell命令确认服务器的Shell环境。本示例主机选择CentOS - [逻辑模型](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0540.md): 逻辑模型是利用实体及相互之间的关系，准确描述业务规则的实体关系图。逻辑模型要保证业务所需数据结构的正确性及一致性，使用一系列标准的规则将各种对象的特征体现出来，并对各实体之间的关系进行准确定义。同时，逻辑模型也为构建物理模型提供了有力的参考依据，并支持转换为物理模型，是最终成功设计数据库过程中必不可少的一个阶段。本章节主要介绍以下内容：逻 - [数据架构使用流程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0541.md): DataArts Studio数据架构的流程如下：准备工作：添加审核人：在数据架构中，业务流程中的步骤都需要经过审批，因此，需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。管理配置中心：数据架构中提供了丰富的自定义选项，统一通过配置中心提供，您需要根据自己的业务需要进行自定义配置。添加审核人：在数据架构中，业务流程中 - [OCR](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0550.md): OCR节点支持识别图片上的文字信息，识别结果将存储到用户指定的OBS目录下。OCR节点仅支持在华北-北京四使用。用户可参考表1和表2配置OCR节点的参数。 - [OBSUtil内嵌对象](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0553.md): OBSUtil内嵌对象提供了一系列针对OBS的操作方法，例如判断OBS文件或目录是否存在。判断OBS目录是否存在，目录请以“/”结尾，EL表达式如下：#{OBSUtil.isExistOBSPath("obs://test/jobs/")}#{OBSUtil.isExistOBSPath("obs://test/jobs/")}判断OBS - [MRS Flink Job](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0554.md): 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。MRS Flink Job节点的具体使用教程，请参见开发一个MRS Flink - [配置调度身份](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0555.md): 数据开发模块的作业执行中会遇到如下问题：数据开发模块的作业执行机制是以启动作业的用户身份执行该作业。对于按照周期调度方式执行的作业，当启动该作业的IAM账号在调度周期内被停用或删除后，系统无法获取用户身份认证信息，导致作业执行失败。如果作业被低权限的用户启动，也会因为权限不足导致作业执行失败。若需解决以上两个问题，则可配置作业调度身份。配 - [简易变量集参考](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0556.md): 简易变量集提供了一系列自定义的变量，自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。当前系统支持业务日期、计划时间、业务id三类参数的自定义。业务日期是指在调度时间内，任务预期调度运行时间的前一天（即昨天），精确到天。业务日期可通过${yyyymmdd}获取。通常，业务日 - [数据血缘方案简介](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0560.md): 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的 - [配置数据血缘](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0561.md): DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘 - [查看数据血缘](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0562.md): 首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然后成功完成作业调度后，则可以在数据目录模块可视化查看数据血缘关系。数据血缘关系更新依赖于作业调度，数据血缘关系是基于最新的作业调度实例产生的。对于同一版本的数据开发作业，系统基于最新的作业调度实例生成数据血缘关系后，在冷却期（默认为48小时）内不会 - [约束限制](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0563.md): 数据管理和分析过程中，为了确保数据的准确性和可追溯性，数据血缘解析成为了一个重要的工具。然而，在实际操作中，用户可能会遇到一些限制，建议用户在使用数据血缘解析功能时，提前了解并遵循以下约束限制，合理规划数据采集和SQL编写，以确保数据血缘解析的准确性和完整性。需要在数据目录先采集血缘涉及的所有表的元数据，否则数据目录血缘无法生成。CREA - [支持的语法](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0564.md): 本节介绍自动血缘解析目前支持的SQL语法。 - [INSERT INTO](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0567.md): 向表中添加一行或多行数据。 - [MERGE INTO](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0568.md): 根据条件将目标表中的数据与源表数据进行同步。 - [CREATE TABLE](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0569.md): 从源表中读取列数据，创建新表并写入数据。 - [UPDATE FROM](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0570.md): 将源表中某个字段的值更新到目标表的字段。 - [INSERT INTO](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0572.md): 向表中添加一行或多行数据。 - [CREATE TABLE](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0573.md): 从源表中读取列数据，创建新表并写入数据。该场景仅数据地图支持表级血缘，且依赖数据目录采集元数据。 - [INSERT INTO](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0575.md): 向表中添加一行或多行数据。 - [创建CDM集群](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0576.md): CDM采用独立集群的方式为用户提供安全可靠的数据迁移服务，各集群之间相互隔离，不可相互访问。CDM集群可用于如下场景：用于创建并运行数据迁移作业。作为管理中心组件连接数据湖时的Agent代理。用于创建并运行数据迁移作业。作为管理中心组件连接数据湖时的Agent代理。已申请VPC、子网和安全组。CDM集群连接云上其它服务时，需确保CDM集群 - [重启CDM集群](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0578.md): 在进行某些配置修改（如关闭用户隔离等）后，需要重启集群才能生效。此时您需要进行集群重启操作。重启CDM集群进程或集群VM都会导致正在运行的作业失败，重启期间也无法调度新的作业，请谨慎操作！已创建CDM集群。或参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。在DataArts Studio控制 - [删除CDM集群](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0579.md): 当您确认不再使用当前集群后，可以删除当前CDM集群。删除CDM集群后集群以及数据都销毁且无法恢复，请您谨慎操作！删除集群前，请您确认如下注意事项：待删除集群确认已不再使用。待删除集群中所需的连接和作业数据已通过批量管理CDM作业中的导出作业功能进行备份。对于购买DataArts Studio服务时系统赠送的CDM集群，非常不建议您进行删除 - [获取Rest Client节点返回值教程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0581.md): Rest Client节点可以执行华为云内的RESTful请求。本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。通过“响应消息体解析为传递参数定义”获取返回值通过EL表达式获取返回值如图1所示，第一个Rest Client调用了MRS服务查询集群列表的API，图2为API返回值的JSON消息体。使用场景：需 - [For Each节点使用介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0582.md): 当您进行作业开发时，如果某些任务的参数有差异、但处理逻辑全部一致，在这种情况下您可以通过For Each节点避免重复开发作业。For Each节点可指定一个子作业循环执行，并通过数据集对子作业中的参数进行循环替换。关键参数如下：子作业：选择需要循环执行的作业。数据集：即不同子任务的参数值的集合。可以是给定的数据集，如“[['1'],['3 - [IF条件判断教程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0583.md): 当您在数据开发模块进行作业开发编排时，想要实现通过设置条件，选择不同的执行路径，可使用IF条件判断。本教程包含以下三个常见场景举例。根据前一个节点的执行状态进行IF条件判断根据前一个节点的输出结果进行IF条件判断多IF条件下当前节点的执行策略IF条件的数据来源于EL表达式，通过EL表达式，根据具体的场景选择不同的EL表达式来达到目的。您可 - [获取SQL节点的输出结果值](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0584.md): 当您在数据开发模块进行作业开发，需要获取SQL节点的输出结果值，并将结果应用于后续作业节点或判断时，可参考本教程获取SQL节点的输出结果。使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时，输出结果为二维数组形式 ，形如[["Dean",...,"08"],...,["Smith",..., - [补数据场景使用介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0585.md): 在某项目搬迁场景下，当您需要补充以前时间段内的历史业务数据，需要查看历史数据的详细信息时，可以使用补数据特性。补数据是指作业执行一个调度任务，在过去某一段时间里生成一系列的实例。用户可以通过补数据，修正历史中出现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。补数据作业除了支持SQL脚本，其他节点也支持。如果SQL脚本的内容有变 - [解绑/绑定CDM集群的EIP](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0586.md): CDM集群创建完成后，支持解绑或绑定EIP。EIP即弹性公网IP，由虚拟私有云（Virtual Private Cloud，简称VPC）负责其计费。如果CDM需要访问本地数据源、Internet的数据源，或者跨VPC的云服务，则必须要为CDM集群绑定一个弹性IP，或者使用NAT网关让CDM集群与其他弹性云服务器共享弹性IP访问Intern - [查看集群信息并修改配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0587.md): CDM集群已经创建成功后，您可以查看集群基本信息、修改集群配置。查看集群基本信息：集群信息：集群版本、创建时间、项目ID、实例ID和集群ID等。节点配置：集群规格、CPU和内存配置等信息。网络信息：网络配置。集群信息：集群版本、创建时间、项目ID、实例ID和集群ID等。节点配置：集群规格、CPU和内存配置等信息。网络信息：网络配置。配置告 - [管理集群标签](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0588.md): CDM集群已经创建成功后，支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源，后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。一个CDM集群最多可新增10个标签。已创建CDM集群。创建来源列仅通过DataArts Studio服务进入数据集成界面可以看到。一个集群最多可添加10个标签。标签键（key）的 - [事务模式迁移](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0589.md): CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过先导入阶段表参数选择是否启用事务模式。参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过 - [迁移文件时加解密](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0590.md): 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式：AES-256-GCM加密KMS加密AES-256-GCM加密KMS加密目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。源端支持的数据源：HDFS（使用二进制格式传输时支持）。目的端支持的数据 - [MD5校验文件一致性](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0591.md): CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式如图1所示。在这个过程中，CDM支持使用MD5检验文件一致性。抽取时该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。该功能由源端作业参数MD5文件名后缀控制（文件格式为 - [指定文件名迁移](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0592.md): 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数源目录或文件支持输入多个文件名（最多50个），文件名之间默认使用|分隔，您也可以自定义文件分隔符，从 - [正则表达式分隔半结构化文本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0593.md): 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且文件格式必须选择CSV格式。在迁移CSV格式的文件时，CDM支 - [CREATE TABLE](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0595.md): 从源表中读取列数据，创建新表并写入数据。该场景仅数据地图支持表级血缘，且依赖数据目录采集元数据。 - [INSERT INTO](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0597.md): 向表中添加一行或多行数据。 - [CREATE TABLE](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0598.md): 从源表中读取列数据，创建新表并写入数据。该场景仅数据地图支持表级血缘，且依赖数据目录采集元数据。 - [CREATE VIEW](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0599.md): 从源表中读取列数据，创建新视图并写入数据。该场景仅数据地图支持视图级血缘，且依赖数据目录采集元数据 - [数据架构概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0601.md): 根据业务需求抽取信息的主要特征，模拟和抽象出一个能够反映业务信息（对象）之间关联关系的模型，即数据模型。数据模型也是可视化的展现企业内部信息如何组织的蓝图。数据模型应满足三方面要求：能比较真实地模拟业务（场景）；容易被人所理解；便于在IT系统中实现。在DataArts Studio数据架构的数据建模过程中，用到的建模方法主要有以下三种：关 - [主题设计](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0603.md): 主题设计是通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。主题设计支持细粒度权限管控，通过数据安全组件的资源目录权限配置，可以控制主题的操作权限。配置权限请参见配置目录权限（高级特性）。没有操作权限的用户，主题会置灰。您可以通过以下两种方式进行主题设计：新建主题并发布手动新建并发布主题。手动新建并发 - [新建码表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0604.md): 码表，也称lookup表、数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表的作用主要有：在数据清洗中用于标准化业务数据以及补充映射字段。在质量监控中用于监控业务数据的值域范围。在维度建模中可以引申为枚举维度。手动新建码表，完成新建后可以参考填写数值到码表中添加码表记录。在DataArts St - [新建数据标准](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0605.md): 数据标准是用于描述公司层面需共同遵守的数据含义和业务规则，它描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。数据标准，也称数据元，由一组属性规定其定义、标识、表示和允许值的数据单元，是不可再分的最小数据单元。您可以将数据标准关联到各个业务上的数据库中。其中，标识符、数据类型、表示格式、值 - [关系建模](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0606.md): 物理模型是指按照一定规则和方法，将逻辑模型中所定义的实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。在关系建模中，您可以新建SDI层和DWI层两个模型，模型最终是通过物理建模进行落地的。除了将逻辑模型转换为物理模型外，您也可以参考本章节直接新建一个 - [新建维度](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0609.md): 维度建模包含维度、维度表和事实表三个部分。维度是用于观察和分析业务数据的视角，支撑对数据汇聚、钻取、切片分析，用于SQL中的GROUP BY条件。维度多数具有层级结构，如：地理维度（其中包括国家、地区、省以及城市等级别的内容）、时间维度（其中包括年度、季度、月度等级别的内容）。维度发布并通过审核后，系统会自动创建与维度相对应的维度表，维度 - [逆向数据库（维度建模）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0610.md): 通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的模型中。在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见配置元数据采集任务。 - [管理维度表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0611.md): 维度表与维度一一对应，通过丰富维度中的属性信息构建形成。维度表的生命周期（包括新建、发布、编辑、下线操作）通过维度进行管理，在维度发布成功后，系统会自动创建并发布对应的维度表。在数据架构控制台，选择模型设计 > 维度建模，进入维度建模页面。单击维度表页签，进入维度表页面。在列表中，找到所需要的维度表，在右侧单击发布历史，将显示发布历史页面 - [新建事实表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0612.md): 归属于某个业务过程的事实逻辑表，可以丰富具体业务过程所对应事务的详细信息。创建事实逻辑表即完成公共的事务明细数据沉淀，从而便于提取业务中事务相关的明细数据。在DataArts Studio控制台首页，选择对应工作空间的数据架构模块，进入数据架构页面。在数据架构控制台，单击左侧导航树中的模型设计 > 维度建模，选择事实表页签。在左侧主题树中 - [新建复合指标](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0613.md): 复合指标是由一个或多个衍生指标叠加计算而成，其中的维度、限定均继承于衍生指标。注意，不能脱离衍生指标、维度和限定的范围，去产生新的维度和限定。单工作空间允许创建的复合指标个数最多5000个。您已新建衍生指标，并且衍生指标已通过审核，具体操作请参见新建衍生指标。在DataArts Studio控制台首页，选择对应工作空间的数据架构模块，进入 - [新建时间限定](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0614.md): 原子指标是计算逻辑的标准化定义，时间限定则是条件限制的标准化定义。为保障所有统计指标统一、标准、规范地构建，时间限定在业务板块内唯一，并唯一归属于一个来源逻辑表，计算逻辑也以该来源逻辑表模型的字段为基础进行定义。由于一个时间限定的定义可能来自于归属不同数据域的多个逻辑表，因此一个时间限定可能归属于多个数据域。在DataArts Studi - [新建原子指标](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0616.md): 原子指标是对指标统计逻辑、具体算法的一个抽象。为了从根源上解决定义、研发不一致的问题，指标定义明确设计统计逻辑（即计算逻辑），不需要ETL二次或者重复研发，从而提升了研发效率，也保证了统计结果的一致性。原子指标：原子指标中的度量和属性来源于多维模型中的维度表和事实表，与多维模型所属的业务对象保持一致，与多维模型中的最细数据粒度保持一致。原 - [新建衍生指标](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0617.md): 衍生指标是原子指标通过添加限定、维度卷积而成，限定、维度均来源于原子指标中的属性。发布衍生指标时，会自动生成一张汇总表，可在“汇总表-自动汇聚”下查看。衍生指标=原子指标+统计维度+时间限定+通用限定。原子指标：明确统计口径，即计算逻辑。统计维度：用于观察和分析业务数据的视角，支撑对数据进行汇聚、钻取、切片分析，用于SQL中的GROUP - [数据集市](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0618.md): 数据集市，也称为DM模型。是汇总表的统称。汇总逻辑表是由一个特定的分析对象（如会员）及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度（如会员），汇总逻辑表面向用户提供了以统计粒度（如会员）为主题的所有统计数据（如会员主题集市）。汇总表分为“手工创建”和“自动汇聚”，此处仅描述手工创建场景。如果在数据架构 > 配置 - [审核中心](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0619.md): 开发环境生成的规范建模、数据处理类任务提交后，都会存储在审核中心页面，然后在审核中心页面进行任务发布，这些任务才会在生产环境上线。如果您是审核人员，请使用审核人员的账号参考以下步骤审核对象。在DataArts Studio控制台首页，选择对应工作空间的数据架构模块，进入数据架构页面。在左侧导航树中，单击审核中心，选择待我审核页签，在列表中 - [管理配置中心](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0621.md): 本视频为您介绍数据架构配置中心中的各项功能对相关操作的具体影响及其生效机制。配置中心中各类对象的自定义项配额如下：主题自定义项10条。表自定义项30条。属性自定义项10条。业务指标自定义项50条。主题自定义项10条。表自定义项30条。属性自定义项10条。业务指标自定义项50条。主题流程配置用于自定义主题设计中的主题层级和自定义属性。系统默 - [添加审核人](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0623.md): 在数据架构中，业务流程中的步骤都需要经过审批，因此，需要先添加审核人。审核人必须是当前工作空间下具有审核权限的成员，只有具备工作空间的管理员角色或DAYU Administrator系统角色权限或Tenant Administrator账号的用户才具有添加审核人的权限。审核人必须是当前工作空间下具有审核权限的成员，需要先在DataArts - [数据架构示例](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0627.md): DataArts Studio数据架构以关系建模、维度建模理论支撑，实现规范化、可视化、标准化数据模型开发，定位于数据治理流程设计落地阶段，输出成果用于指导开发人员实践落地数据治理方法论。本章节操作场景如下：对MRS Hive数据湖中的出租车出行数据进行数据模型设计。数据库demo_sdi_db中已具备出租车出行原始数据表sdi_taxi - [流程设计](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0631.md): 流程架构基于价值流产生，属于业务架构的流程处理模块，指导并规范需求的管理，确保业务需求受理、分析、交付等过程的高效运作；并聚焦高价值需求，实现业务价值最大化，支撑业务运作及目标的达成。根据业务需求设计流程，流程支持三层至七层，如需要修改，请参考流程层级数。在DataArts Studio控制台首页，选择对应工作空间的数据架构模块，进入数据 - [批量修改主题/目录/流程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0632.md): 当前仅支持信息架构、关系建模、逻辑模型、维度、事实表、汇总表、技术指标模块进行批量修改主题操作，操作流程相同。此处以批量修改信息架构为例，展示如下：当前仅支持码表管理、数据标准进行批量修改目录操作。当前仅支持业务指标进行批量修改流程操作。 - [业务指标](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0633.md): 经过数据调研和需求分析之后，您需要根据需求落地指标。指标是衡量目标总体特征的统计数值，是能表征企业某一业务活动中业务状况的数值指示器。指标一般由指标名称和指标数值两部分组成，指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点，指标数值反映了指标在具体时间、地点、条件下的数量表现。业务指标用于指导技术指标，用于定义指标的设置目的 - [逆向数据库（关系建模）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0635.md): 通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的模型中。在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见配置元数据采集任务。 - [关联质量规则](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0636.md): 当您完成表的新建和发布后，您可以在表中关联质量规则。在配置中心 > 功能配置页面中的模型设计业务流程步骤 > 创建质量作业勾选的情况下，完成质量规则的关联后，表发布后就会在DataArts Studio数据质量中自动创建质量作业，如果当前表已经发布，则系统会自动更新质量作业。异常数据输出配置：勾选此项，并勾选生成异常数据，表示异常数据将按 - [导入导出](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0637.md): 数据架构支持流程、主题、码表、数据标准、关系建模表（物理表）、逻辑实体、维度建模维度/事实表、业务指标、技术指标、数据集市汇总表的导入导出，暂不支持时间限定、审核中心和配置中心数据的导入导出。本例中以导入和导出关系建模表为例说明如何进行导入导出，其他数据操作类似。如果您想了解其他数据如何导入导出以及使用场景等，请参考数据架构数据搬迁。导入 - [查看表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0638.md): 对于关系建模中的表，您可以查看模型视图、表详情、关系图、预览SQL以及发布历史。当您在关系模型中完成表的新建后，就可以通过列表视图和模型视图两种形式查看表模型。关系模型页面默认显示为列表视图，您可以切换为模型视图进行查看。在模型视图中支持以下功能：双击表名，可显示表的详情信息。单击左上角的导出图片按钮，可以将模型视图导出成图片。在右上角的 - [命名词典](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0648.md): 通过配置命名词典，在数据建模生成表名时支持根据词库来自动匹配对应的英文，避免一个中文词在表名上出现多种英文命名，规范了英文表名。单个工作空间最多存储10000个命名词条。单次翻译最多只支持20个词条翻译。新建、编辑、删除命名词条，需要有管理员权限，或者具有配置中心的自定义角色权限。同时，系统支持通过模板进行批量导入命名词典。操作如下：查询 - [数仓规划](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0663.md): 数仓规划，目前系统默认的数仓分层包含SDI、DWI、DWR、DM（Data Mart）等4层，支持用户自定义数仓分层。数仓规划对数仓分层以及数仓模型进行统一管理。关系建模下包含SDI层和DWI层两层模型，物理模型归属于两层模型之一。SDI：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。DWI - [概念模型](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0665.md): 概念模型是一个上层的概念，对于某一个具体的概念模型对象，后面统称为概念实体。概念模型可以帮助您实现如下业务。能支持L3业务对象，即概念实体的创建，关系配置和关系图展示。业务对象（即概念实体）的关联不受主题域分组的限制。按业务对象进行架构设计。本章节主要介绍以下内容：概念模型设计注意事项新建概念模型概念模型更多操作只有L3业务对象才会显示概 - [业务指标监控简介](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0702.md): 当前，数据架构有完善的指标设计和管理能力，建议您后续使用数据架构的业务指标功能，数据质量的业务指标监控模块即将下线。业务指标监控模块是对业务指标进行质量管理的工具。为了进行业务指标监控，您可以先自定义SQL指标，然后通过指标的逻辑表达式定义规则，最后新建并调度运行业务场景。通过业务场景的运行结果，您可以判断业务指标是否满足质量规则。业务场 - [新建指标](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0703.md): 管理所有业务指标，包括指标的来源、定义等，使用目录维护业务指标。注意，数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的，不支持交互。已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 指标管理”页面创建归属目录。基于某个数据连接创建指标，需要选择指标目录， - [新建规则](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0704.md): 管理所有业务规则，规则定义了指标间或者指标和数值间的关系，使用目录维护业务规则。已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 规则管理”页面创建归属目录。基于指标创建业务规则，需要选择规则归属目录，请参见图1创建归属目录。在DataArts Studio控制台首页，选择 - [新建业务场景](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0705.md): 管理所有业务场景，场景定义了规则间的逻辑关系，使用目录维护业务场景。已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 业务场景管理”页面创建归属目录。基于规则创建业务场景，需要选择业务场景归属目录，请参见图1创建归属目录。在DataArts Studio控制台首页，选择对应 - [查看业务场景实例](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0707.md): 管理所有运行的业务场景，查看运行状态、运行日志、问题处理等。介绍业务指标监控 > 运维管理页面中的区域和按键功能。 - [数据质量监控简介](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0709.md): 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行、跨源和跨表的分析。数据质量支持对离线数据的监控，当离线数据发生变化时，数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。同时，数据质量 - [新建数据质量作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0712.md): 质量作业可将创建的规则应用到建好的表中进行质量监控。数据开发调用数据质量算子时，数据开发作业可以指定并发次数。但是，对于数据质量来说，一个质量作业或者对账作业运行时，同一时间只能存在一个实例，数据质量作业并不支持并发运行，单个作业运行后，再次运行返回的还是上次未运行完的作业实例。在DataArts Studio控制台首页，选择对应工作空间 - [查看作业实例](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0714.md): 作业实例的数据保留最近90天的结果。介绍数据质量监控 > 运维管理页面中的区域和按键功能。导出勾选需要导出的作业实例名称，单击“导出”，弹出“导出实例运行结果”页面，再次单击“导出”，可以在“导出记录”页签查看导出实例的结果是否成功，可以下载导出成功的作业实例。系统支持查看近3个月的导出记录。勾选需要导出的作业实例名称，单击“导出”，弹出 - [新建数据质量规则](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0715.md): 数据质量支持对离线数据的监控，质量规则是数据质量的核心。DataArts Studio系统内置的模板规则共计34种，分为库级规则、表级规则、字段级规则和跨字段级规则、跨源级规则等规则类型，如表1所示。系统内置的规则模板不可编辑和查看发布历史。当系统内置规则模板不足以满足您的需求，您可根据实际需要创建规则。目前创建规则的方式包括自定义模板和 - [新建数据对账作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0716.md): 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。数据质量监控中的对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。数据开发调用数据质量算子时，数据开发作业可以指定并发次数。但是，对于数据质量来说，一个质量作业或者对账作业运行 - [新建一个业务场景](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0718.md): 业务场景用于监控业务指标。本例以新建一个业务场景为例，介绍如何使用业务指标监控功能。单击左侧导航“指标管理”。单击页面上方的“新建”，如下图所示。单击“试跑”，查看试跑运行成功的结果。单击“保存”，完成指标的创建。单击左侧导航“规则管理”。单击页面上方的“新建”，创建第一条规则。输入参数值，如下图所示。单击“保存”。单击页面上方的“新建” - [新建一个质量作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0719.md): 开发质量作业是为了监控数据质量。本章以新建一个质量作业为例，介绍如何开发质量作业。单击左侧导航“规则模板”，默认展示系统自定义的规则。数据质量的规则包含6个维度，分别是：完整性、唯一性、及时性、有效性、准确性、一致性。单击“新建”，可自定义创建规则。本例使用系统自定义的规则即可。本例使用系统自定义的规则即可。单击左侧导航“质量作业”。单击 - [新建一个对账作业实例](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0720.md): 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源，介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。需要准备好对账的数据源，即通过管理中心分别创建数据连接，用于跨源数据对账。创建DLI数 - [管理Notebook资源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0760.md): 管理中心提供了用于统一管理Notebook资源的功能，空间管理员可以通过该功能集中管理所有租户的个人运行环境及计算资源。数据开发中的Notebook作业开发提供了一个交互式的开发环境，提供全托管式JupyterLab云化版本，即开即用。个人运行环境是Notebook的基础开发环境。绑定计算资源可以为Notebook作业开发提供多种计算引擎 - [管理镜像](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0762.md): 管理中心提供了镜像管理的能力，用于查看系统镜像。系统镜像为内置镜像，不支持修改和删除。详情请参考访问DataArts Studio实例控制台。 - [元数据简介](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0802.md): 按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据，用于指导其进行数据管 - [配置元数据采集任务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0804.md): 本章主要介绍如何通过配置元数据采集策略新建采集任务，不同类型的数据源对应的采集策略不尽相同。元数据管理依据采集任务的配置策略，采集对应的技术元数据信息。当元数据采集任务未指定采集范围时，默认采集该数据连接下的所有数据表/文件。采集任务运行完成后，如果该数据连接下有新增数据表/文件，则需再次运行元数据采集任务，才能采集到新增数据表/文件的元 - [查看任务监控](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0805.md): 监控元数据采集任务运行情况，查看采集日志，支持重跑采集任务。在数据目录页面，选择元数据采集任务监控。在任务监控页面，对采集任务进行监控，参考表1。 - [查看工作空间内的数据资产](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0807.md): 数据地图围绕数据搜索，服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者，提供方便快捷的数据搜索服务，拥有功能强大的血缘信息及影响分析。搜索：在进行数据分析前，使用数据地图进行关键词搜索，帮助快速缩小范围，找到对应的数据。详情：使用数据地图根据表名直接查看表详情，快速查阅明细信息，掌握使用规则。血缘：通过数据地图的血缘分 - [查看资产总览](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0808.md): 通过总览，可以查看资产总览及资产报告。资产总览可展示业务资产、技术资产和指标资产的情况。业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表，资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。技术资产来自于数据连接和元数据采集任务，资产总览展示数据库、数据表、数据量的数量及其详情。指标资产来自于数据架构组件中定义并发布过的业务 - [查看数据资产](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0809.md): 通过数据目录可以对各类资产进行搜索、过滤、查看详情等操作。业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表。技术资产来自于数据连接和元数据采集任务，其中的数据连接来源于管理中心的数据连接，库表列等来源于数据目录的元数据采集任务。指标资产来自于数据架构组件中定义并发布过的业务指标。业务资产和指标资产来自于数据架构组件，会随数据架构 - [管理资产标签](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0810.md): 为方便管理技术资产，可以从业务角度定义标签，并与技术资产关联，比如标识某个表是SDI贴源数据层、DWI数据整合层等。标签是用来标识技术资产的业务含义，是相关性很强的关键字，可以帮助您对技术资产进行分类和描述，以便于检索。标签是相关性很强的关键字，帮助用户对资产进行分类和描述，以便于检索。分类是指按照种类、等级或性质分别归类。分类是自上而下 - [支持的数据源（2.9.2.200）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0816.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [配置数据目录权限（待下线）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0818.md): 本章节主要介绍数据目录权限管理。在已上线数据安全组件的区域，数据目录中的数据权限功能已由数据安全组件提供，不再作为数据目录组件能力。当前数据目录中的数据权限功能仅限于存量用户使用。数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。仅管理员角色的用户支持创建、删除、修改数据目 - [配置数据表权限（待下线）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0819.md): 在已上线数据安全组件的区域，数据目录中的数据权限功能已由数据安全组件提供，不再作为数据目录组件能力。当前数据目录中的数据权限功能仅限于存量用户使用。数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。用户可以在“我的权限”页面，查看工作空间内自己拥有的表和列权限，并对表和列的 - [管理审批中心（待下线）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0820.md): 在已上线数据安全组件的区域，数据目录中的数据权限功能已由数据安全组件提供，不再作为数据目录组件能力。当前数据目录中的数据权限功能仅限于存量用户使用。数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。仅管理员角色的用户支持管理审批人，可新建和删除审批人。用户可在审批中心页面， - [新建数据分类（待下线）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0822.md): 本章主要介绍如何创建数据分类规则。在已上线数据安全组件的区域，数据目录中的数据安全功能已由数据安全组件提供，不再作为数据目录组件能力。当前数据目录中的数据安全功能仅限于存量用户使用。数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。只有在创建数据分类规则之后，您才可以创建数 - [新建数据密级（待下线）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0823.md): 本章主要介绍数据密级管理，包括密级的创建、删除和调整优先级。在已上线数据安全组件的区域，数据目录中的数据安全功能已由数据安全组件提供，不再作为数据目录组件能力。当前数据目录中的数据安全功能仅限于存量用户使用。数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。只有在创建密级之 - [配置脱敏策略（待下线）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0825.md): 本节介绍如何创建数据脱敏策略，然后在数据目录中进行脱敏查询。在已上线数据安全组件的区域，数据目录中的数据安全功能已由数据安全组件提供，不再作为数据目录组件能力。当前数据目录中的数据安全功能仅限于存量用户使用。数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。数据分类规则已创 - [数据权限简介（待下线）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0826.md): 为确保数据使用安全可控，使用数据表需要先申请权限。数据权限模块为用户提供便捷的权限管控能力，提供可视化申请审批流程，并可以进行权限的审计和管理。提高数据安全的同时，还可以方便用户进行数据权限管控。在已上线数据安全组件的区域，数据目录中的数据权限功能已由数据安全组件提供，不再作为数据目录组件能力。当前数据目录中的数据权限功能仅限于存量用户使 - [数据安全简介（待下线）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0827.md): 在已上线数据安全组件的区域，数据目录中的数据安全功能已由数据安全组件提供，不再作为数据目录组件能力。当前数据目录中的数据安全功能仅限于存量用户使用。数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、 - [配置增量元数据采集任务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0829.md): 配置、运行采集任务是构建数据资产的前提，下面举例说明如何通过配置采集任务达到灵活采集元数据的目的。用户的数据库中新增的数据表，采集任务仅采集新增的表。例如新增table4的情况下：采集前的数据表元数据：table1，table2，table3采集后的数据表元数据：table1，table2，table3，table4采集前的数据表元数据： - [数据血缘方案简介](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0832.md): 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的 - [配置数据血缘](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0833.md): DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式，无需手动配置即可生成血缘关系，在不支持自动血缘解析的场景下，再手动配置血缘关系。自动血缘解析，是由系统解析数据开发作业中的数据处理和数据迁移类型节点后自动产生的，无需手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘 - [查看数据血缘](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0834.md): 首先在数据目录组件完成元数据采集任务，当数据开发作业满足自动血缘解析要求或已手动配置血缘，然后成功完成作业调度后，则可以在数据目录模块可视化查看数据血缘关系。数据血缘关系更新依赖于作业调度，数据血缘关系是基于最新的作业调度实例产生的。对于同一版本的数据开发作业，系统基于最新的作业调度实例生成数据血缘关系后，在冷却期（默认为48小时）内不会 - [查看API访问日志](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0900.md): API调用后会产生相应的访问日志，访问日志默认会存储到集群节点上，用户可以通过“运营管理 > 访问日志”查看集群节点日志，详见查看访问日志。专享版可以通过集群日志转储功能，将集群日志转存到LTS云日志平台或者OBS桶中。集群日志转储LTS之前，需要先配置云日志服务，创建日志组和日志流，日志转储时，选择创建好的日志组和日志流。仅专享版支持集 - [提交版本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0901.md): 提交版本涉及数据开发的版本管理功能。版本管理：用于追踪脚本/作业的变更情况，支持版本对比和回滚。系统最多保留最近100条的版本记录，更早的版本记录会被删除。另外，版本管理还可用于区分开发态和生产态，这两种状态隔离，互不影响。开发态：未提交版本的脚本/作业为开发态，仅用于个人调试开发。在开发态下，可以随意编辑、保存、运行脚本/作业，不会影响 - [提交版本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0902.md): 提交版本涉及数据开发的版本管理功能。版本管理：用于追踪脚本/作业的变更情况，支持版本对比和回滚。系统最多保留最近100条的版本记录，更早的版本记录会被删除。另外，版本管理还可用于区分开发态和生产态，这两种状态隔离，互不影响。开发态：未提交版本的脚本/作业为开发态，仅用于个人调试开发。在开发态下，可以随意编辑、保存、运行脚本/作业，不会影响 - [解锁脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0912.md): 脚本或作业解锁涉及数据开发的编辑锁定功能。编辑锁定：用于避免多人协同开发脚本或作业时产生的冲突。新建或导入脚本或作业后，默认当前用户锁定脚本或作业，只有当前用户自己锁定的脚本或作业才可以直接编辑、保存或提交，通过“解锁”功能可解除锁定；处于解除锁定或他人锁定状态的脚本或作业，必须通过“抢锁”功能获取锁定后，才能继续编辑、保存或提交。当前脚 - [解锁作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0913.md): 脚本或作业解锁涉及数据开发的编辑锁定功能。编辑锁定：用于避免多人协同开发脚本或作业时产生的冲突。新建或导入脚本或作业后，默认当前用户锁定脚本或作业，只有当前用户自己锁定的脚本或作业才可以直接编辑、保存或提交，通过“解锁”功能可解除锁定；处于解除锁定或他人锁定状态的脚本或作业，必须通过“抢锁”功能获取锁定后，才能继续编辑、保存或提交。当前脚 - [配置Doris目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0999.md): 当作业将数据导入到Doris时，目的端作业参数如表1所示。 - [数据安全概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1001.md): 数据安全以数据为中心，基于数据动态流动场景，构建全链路数据湖安全的解决方案，全方位保障数据湖安全，以此满足不同角色（如数据开发工程师、数据安全管理员、数据安全审计员和数据安全运营人员）对数据安全和数据治理的诉求。资源主体：即华为云数据湖中的库表字段及计算引擎队列资源。库表字段支持大数据MRS Hive/Spark、数据仓库服务（DWS）、 - [数据安全总览页面](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1002.md): 数据安全总览页面为您提供了配置数据安全管理员功能和数据安全的空间汇总信息，包括查看敏感表总数、敏感表密级分布饼图、敏感字段密级分布饼图、脱敏和水印任务数量趋势图。安全管理员由具有DAYU Administrator系统角色权限的账号指定，在DataArts Studio实例内所有工作空间的数据安全组件内，拥有最高权限。数据安全组件中，仅安 - [配置资源权限](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1006.md): 本章主要介绍如何通过资源权限创建权限策略到Ranger组件，实现MRS资源权限控制，从而降低企业数据信息安全风险。当前支持创建的权限策略如下：创建HDFS权限策略创建Hive访问权限策略创建Hive脱敏权限策略创建Hive行级过滤器权限策略创建HBase权限策略创建Yarn权限策略创建Kafka权限策略创建Storm权限策略创建HDFS权 - [查看权限报告](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1007.md): 本章主要介绍如何查看资源配置权限策略及详情。已完成权限策略配置，未配置请参考配置资源权限。详情请参考访问DataArts Studio实例控制台。查看策略详情：单击策略名称前面，查看策略详情。过滤策略：在策略类型下拉框中选择策略类型过滤策略。搜索策略：在搜索框中输入策略名称搜索策略。 - [敏感数据识别流程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1009.md): 敏感数据主要指未经个人或集团授权被他人使用，有可能给个人或集团带来严重损害的数据。以《GBT 35273-2020 信息安全技术个人信息安全规范》为例，个人敏感数据有：个人财产信息 （存款、信贷、消费流水）个人健康生理信息（体检信息、医疗记录）个人生物识别信息（指纹、面部特征）个人身份信息（身份证、社保卡、驾驶证）其他信息（宗教信仰、精准 - [定义数据密级](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1010.md): 为了方便对数据进行管理，在对数据进行操作前，需要您为数据定义密级，并对保密等级做相应的描述，例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。值得注意的是，数据密级、数据分类和识别规则，均为DataArts Studio实例级别配置，各工作空间之间数据互通。这样在数据地图组件中，就可以根据一套标准的分级分类管理对数据进行统一 - [定义识别规则（部分高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1011.md): 您可以通过定义敏感数据识别规则，来有效识别数据库内的敏感数据字段。当前识别规则支持使用内置规则和简单的正则表达式。如果您需要更强大的识别规则，数据还支持您使用组合规则。组合规则的多个子规则间可进行与或非逻辑判断，单个子规则支持Groovy脚本、正则表达式、等于、长度判断、内置规则等算法，匹配对象除了列内容识别外还支持列名、列注释、表名、表 - [定义识别规则分组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1012.md): 定义敏感数据识别规则组，可以将多个零散的规则组合成为一个有业务逻辑的规则组，该操作是用户后续进行敏感数据发现任务操作的前提 。识别规则创建完成，请参考定义识别规则（部分高级特性）。敏感数据识别过程中，当某个字段同时匹配到识别规则组中的多个识别规则时，此字段密级取多个识别规则的最高密级，字段分类允许有多个。数据识别规则分组最多配置100条。 - [发现敏感数据](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1013.md): 完成了敏感数据识别规则组定义后，就可以根据定义的规则来创建敏感数据识别任务，发现敏感数据，并将敏感数据同步到数据地图组件。敏感数据发现任务运行后，为使该识别规则在静态脱敏任务中生效，必须在“敏感数据分布>手工修正”页面对任务中的识别规则进行“确认”，使规则状态变更为“有效”。已完成敏感数据规则组定义，请参考定义识别规则分组。已在管理中心创 - [查看敏感数据分布](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1014.md): 本章主要介绍如何查看敏感数据发现结果、敏感数据导入结果以及手工修正。查看敏感数据发现结果：敏感数据识别任务完成后，需要查看任务的运行结果。查看敏感数据导入结果：敏感数据导入任务完成后，需要查看任务的运行结果。手工修正：发现敏感数据后，您必须根据具体情况进行手工修正，通过对任务中的识别规则进行“确认”，使规则状态变更为“有效”，才能使该识别 - [管控敏感数据](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1015.md): 数据安全支持对数据地图资产按照密级进行分级管控，控制不同用户对元数据的访问权限。通过敏感数据管控为指定用户/用户组配置指定密级后，则用户/用户组在数据预览时仅能访问资产密级小于等于指定密级的字段。值得注意的是，密级权限管控策略为DataArts Studio实例级别配置，各工作空间之间数据互通，全局可见并生效。未配置密级权限管控策略时，数 - [隐私保护管理简介](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1018.md): 隐私保护管理是数据安全提供的一项用于敏感数据保护的功能。在隐私保护管理模块，您可以通过数据静态脱敏、动态脱敏、数据水印、文件水印和动态水印等方式来防止敏感数据遭到有意或无意的误用、泄露或盗窃，从而帮助企业采取合理措施来保护其敏感数据的机密性和完整性、可用性。隐私保护管理提供以下敏感数据保护方式：静态脱敏数据静态脱敏，可以防止隐私数据在未经 - [管理脱敏策略](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1019.md): 在实际生产中，会存在数据分析部门需要对数据进行数据分析，数据中存在敏感信息，但又不得不开放权限。此时就可以建立脱敏策略并对敏感数据进行脱敏，在满足业务需要的同时保证了数据的真实性不被泄露。本章主要介绍如何创建脱敏策略。此处的脱敏策略仅适用于静态脱敏任务。已定义敏感数据识别规则，未定义请参考定义识别规则（部分高级特性）完成定义。已配置内置脱 - [管理静态脱敏任务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1020.md): 本章主要介绍如何创建静态脱敏任务，静态脱敏支持的源端和目的端可通过参考：静态脱敏场景介绍查看。数据静态脱敏，可以防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据，同时又保持监管合规，满足企业合规性。敏感数据通过静态脱敏，提供内置高效、丰富的脱敏算法，对原始数据中敏感数据进行掩码、截断、hash等，并将脱敏后的数据写入到目 - [嵌入数据水印](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1021.md): 本章主要介绍如何进行数据水印嵌入。数据水印一般有如下场景：规范数据外发流程实现对企业内部人员数据外发进行有效流程化管理，非授权用户在数据外发前需审批，审批通过后采取数据水印技术生成可外发数据文件。实现对企业内部人员数据外发进行有效流程化管理，非授权用户在数据外发前需审批，审批通过后采取数据水印技术生成可外发数据文件。数据版权保护通过在关系 - [溯源数据水印](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1022.md): 本章主要介绍如何利用泄露的数据文件进行水印溯源。数据溯源主要用来对泄露数据进行快速溯源。通过对泄露数据文件的完整度和水印信息痕迹来检测水印是否存在，快速识别水印标记信息，从而对安全事件精准定位追责。用户获得泄露的数据文件后，生成字符分隔值（Comma-Separated Values，CSV）格式文件，文件大小不超过20M，并保存到本地。 - [管理样本库](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1023.md): 数据安全支持将您提供的OBS或HDFS样本文件生成样本库。当新建随机脱敏或字符替换类型的脱敏算法时，可以选择将敏感数据脱敏为样本库文件中的值，详见新建脱敏算法。本章主要介绍如何创建样本。已在OBS或HDFS中上传样本文件。样本文件只支持txt格式，大小建议不超过10MB，其中数据可通过换行“\n”、空格“ ”、英文逗号“,”、或分隔符“| - [定义数据分类](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1030.md): 当数据密级已经无法满足大数据量下的数据分级分类诉求时，您可以进一步为不同价值的数据定义数据分类，以更好地管理和分组计量自己的数据，让各类各组之间属于并列、平等并且互相排斥的关系，使数据更清晰。本章主要介绍如何定义数据分类。值得注意的是，数据密级、数据分类和识别规则，均为DataArts Studio实例级别配置，各工作空间之间数据互通。这 - [管理脱敏算法](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1035.md): 为了方便对数据进行脱敏，在创建脱敏策略前，需要您准备好脱敏算法。当前系统已内置20+脱敏算法，如果内置算法可以满足您的需求，您需要提前配置对应算法参数；否则，您可以新建脱敏算法。本章主要介绍内置脱敏算法，和如何新建脱敏算法。新建随机脱敏或字符替换类型的脱敏算法时，如果选择将敏感数据脱敏为样本库脱敏，则测试算法时限制样本文件大小不能超过10 - [管理动态脱敏策略](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1036.md): 在数据安全组件创建动态脱敏策略后，系统会将动态脱敏策略同步到数据源服务，由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时，系统会直接返回由数据源动态脱敏后的数据，保护敏感数据不被泄露。值得注意的是，动态脱敏策略为DataArts Studio实例级别配置，各工作空间之间数据互通，全局可见并生效。新建MR - [文件水印](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1038.md): 本章主要介绍如何进行文件水印相关操作。对结构化数据文件（csv、xml和json）注入暗水印，水印内容不可见，需要进行水印提取。对非结构化数据文件（docx、pptx、xlsx和pdf）注入明水印，可在本地打开文件，查看水印内容。对结构化数据文件（csv、xml和json）注入暗水印，水印内容不可见，需要进行水印提取。对非结构化数据文件（ - [动态水印](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1039.md): 动态水印指在数据的访问过程中，动态地在数据的查询访问请求返回结果集中注入水印的方式。本章主要介绍如何实现数据开发动态水印功能，最终在数据开发组件中转储或下载敏感数据时，系统动态注入数据水印。在数据安全组件开启数据开发动态水印功能并创建动态水印策略后，当策略中指定的用户组或角色在数据开发组件中转储或下载敏感数据时，数据开发组件会为敏感数据注 - [订阅动态脱敏策略](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1040.md): 通过动态脱敏订阅，数据安全可以实现同步第三方平台的动态脱敏策略。第三方平台的动态脱敏策略发布到Kafka消息队列后，数据安全进行订阅和消费。消息格式满足要求时，待消息消费成功后，数据安全会生成动态脱敏策略（策略名为Kafka消息中的策略名）并同步到MRS Ranger组件中生效。值得注意的是，动态脱敏订阅为DataArts Studio实 - [展示层脱敏（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1071.md): 通过配置展示层脱敏策略，可以实现在数据开发进行脚本、作业开发查询时，表数据预览会按照展示层脱敏策略对数据展示进行敏感信息脱敏。在新版本模式下仅当使用企业版时，才支持展示层脱敏功能，旧版本模式使用基础版及更高版本时即可支持。展示层脱敏功能当前在北京四、上海一内测（其他region后续会逐步放开，敬请期待！），但需申请白名单后才能使用。如需使 - [管理密钥（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1073.md): 管理密钥用于存储密钥的信息。密钥可用于如下场景：数据集成（离线作业）进行表数据迁移时，在“敏感数据检测”发现敏感数据后，如果需要通过转换器进行加密，则要从数据安全获取密钥信息，详见配置离线处理集成作业。在数据安全进行文件加密时，需要获取密钥信息，详见文件加密（高级特性）。在新版本模式下仅当使用企业版时，才支持管理密钥功能，旧版本模式使用基 - [文件加密（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1074.md): 文件加密支持对文件内的敏感数据进行加密处理。在新版本模式下仅当使用企业版时，才支持文件加密功能，旧版本模式使用基础版及更高版本时即可支持。文件加密功能当前在北京四、上海一内测（其他region后续会逐步放开，敬请期待！），但需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。已创建密钥，参考管理密钥（高级特性）。操作用户需要 - [外部接口（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1075.md): 外部接口用于对接第三方平台的接口，当前支持加密接口和通知接口。加密类型：主要用于在数据开发导入数据文件时，根据数据入湖检测规则实时发现敏感数据后，调用外部接口所对接的第三方平台加密算法对文件数据进行加密处理。消息通知类型：主要用于配置权限到期提醒时，通过选择外部接口，将权限到期提醒消息发送给外部接口所对接的第三方平台通知接口，供第三方平台 - [新建Hadoop集群配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1096.md): 集群配置管理支持新建、编辑或删除Hadoop集群配置。Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。CDM支持的Hadoop类型连接主要包括以下几类：MRS集群：MRS HDFS，MRS HBase，MRS Hive。FusionInsight集群：FusionInsight HDFS，F - [查看作业依赖关系图](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1097.md): 您可以通过查看作业依赖关系视图，直观查看该作业关联的上下游作业。已经在开发Pipeline作业的作业调度配置中设置了依赖作业，否则视图中仅能展示当前作业节点，无法展示具备依赖关系的上下游作业节点。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studi - [ROMA FDI Job](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1098.md): 通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务，实现源端到目标端的数据集成转换。该节点方便用户启动或者查询FDI任务是否正在运行。ROMA FDI Job的参数配置，请参考以下内容： - [MRS Presto SQL](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1099.md): 通过MRS Presto SQL节点执行数据开发模块中预先定义的Presto SQL脚本。Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。用户可参考表1，表2和表3配置MRS Presto SQL节点的参数。 - [转移作业责任人](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1101.md): 数据开发模块提供了转移作业责任人的功能，您可以将责任人A的所有作业一键转移到责任人B名下。仅拥有管理员权限的用户可以操作该功能。该功能仅对管理员显示。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio - [转移脚本责任人](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1102.md): 数据开发模块提供了转移脚本责任人的功能，您可以将责任人A的所有脚本一键转移到责任人B名下。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进入数据开发页面 - [MRS HetuEngine](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1103.md): 通过MRS HetuEngine节点执行数据开发模块中预先定义的HetuEngine SQL脚本。HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。用户可参考表1和表2配置MRS HetuEngine节点的 - [MRS Impala SQL](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1104.md): 通过MRS ImpalaSQL节点执行数据开发模块中预先定义的Impala SQL脚本。Impala对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。用户可参考表1和表2配置MRS Impala节点的参数。 - [运行历史](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1105.md): 运行历史功能可支持查看脚本、作业和节点的一周（7天）内用户的运行记录。运行历史功能依赖于OBS桶，若要使用该功能，必须先配置OBS桶。请参考配置OBS桶进行配置。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts - [配置OBS桶](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1106.md): 脚本、作业或节点的历史运行记录依赖于OBS桶，如果未配置测试运行历史OBS桶，则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。OBS路径仅支持OBS桶，不支持并行文件系统。详情请参考访问DataArts Studio实例控制台。配置测试运行历史OBS桶配置测试运行历史OBS桶 - [批量解锁](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1107.md): 数据开发模块提供了批量解锁脚本的功能，您可参照本节内容对锁定的脚本进行批量解锁。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进入数据开发页面。在数据开 - [批量解锁](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1108.md): 数据开发模块提供了批量解锁作业的功能，您可参照本节内容对锁定的作业进行批量解锁。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进入数据开发页面。在数据开 - [访问权限管理流程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1151.md): 访问权限管理提供了对于MRS、DWS、DLI数据湖仓中的库、表、字段的访问权限配置的核心能力，包含如下特性：集中式访问控制融合了不同的大数据服务进行统一权限管理，如MRS、DWS、DLI等，给用户带来了统一的权限配置入口，极大地提高了易用性和可维护性。融合了不同的大数据服务进行统一权限管理，如MRS、DWS、DLI等，给用户带来了统一的权 - [授权dlg_agency委托](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1152.md): 云服务委托可将相关云服务的操作权限委托给DataArts Studio，让DataArts Studio以您的身份使用这些云服务，代替您进行一些任务调度、资源运维等工作。dlg_agency默认委托的创建详见创建dlg_agency默认委托。由于数据安全使用委托时，所需的云服务权限更高。因此在使用数据安全前，需要提前为dlg_agency - [检查集群版本与权限](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1153.md): 统一权限治理对数据连接Agent、数据源版本和用户权限等均有相应的要求。在使用前，您应先按照表1，检查并准备相关配置。DLI权限管理仅涉及授权dlg_agency委托，不涉及检查集群版本与权限。对于MRS非安全集群，由于Ranger组件默认同步unix用户，不会同步FI Manager上的用户/用户组/角色，因此需要切换用户同步策略。操作 - [同步IAM用户到数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1154.md): 默认情况下，用户通过DataArts Studio数据连接访问数据源（此处指MRS/DWS数据源）时，使用数据连接中的账号密码进行认证。为实现不同用户访问数据源时，能够根据其自身用户信息管控用户访问数据的权限，需要先将IAM上的用户信息同步到数据源上，然后不同用户在数据源上才能有不同的身份，便于后续在数据权限管理中使用自身用户信息进行认证 - [配置空间权限集](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1155.md): 在数据访问权限管理的实际场景下，通常会有一级部门、二级部门、三级部门等多级权限的划分。为此，数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限，在此基础上，将其向下拆分出新的子权限集，提供进一步的细分权限管理。空间权限集作为DataArts Studio工作空间内的最大权限集合，由DAYU A - [配置权限集](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1156.md): 在数据访问权限管理的实际场景下，通常会有一级部门、二级部门、三级部门等多级权限的划分。为此，数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限，在此基础上，将其向下拆分出新的子权限集，提供进一步的细分权限管理。权限集本质上是将用户与权限直接关联。其中的空间权限集为没有父权限集的特殊权限集，限定 - [配置角色](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1157.md): 数据安全中的角色管理，本质上是基于权限集提供的更加直观、强大的权限管控能力。角色与权限集的不同之处在于，权限集是将用户与权限直接关联，而角色是通过在数据源上创建或纳管一个角色，进而承载用户和权限之间的关联关系。当您在角色管理页面，为权限集关联了角色之后，权限就不再同步到用户，而是只同步到角色。推荐您通过角色管理这种方式更加直观地管理权限关 - [管理成员](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1158.md): 数据安全支持成员管理视图，支持查看当前工作空间内成员的权限，并进行角色/权限集管理。为成员添加或删除所在的角色/权限集前，已完成权限集或角色的配置，请参考配置权限集或配置角色。仅DAYU Administrator、Tenant Administrator、数据安全管理员或者角色/权限集管理员可以为成员添加或删除所在的角色/权限集。为成员 - [申请与审批权限（部分高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1159.md): 进行访问权限管理时，除了可以自上而下地通过权限集/角色方式为用户授权外，也支持自下而上的用户权限申请、审批流程。本章主要描述如何配置审批策略，申请者如何申请权限，以及审批者如何审批权限、回收权限以及配置并订阅权限审批通知。在新版本模式下仅当使用企业版时，才支持配置审批策略、按字段粒度申请权限、设置权限有效期以及配置并订阅权限审批通知。旧版 - [启用细粒度认证](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1160.md): 在未启用细粒度认证的情况下，当在DataArts Studio数据开发组件执行脚本、测试运行作业或调度作业时，数据源会使用数据连接上的账号进行认证鉴权。因此，即使已通过配置角色/权限集对用户进行权限管控，当用户在进行数据开发时，权限管控依然无法生效。而在启用细粒度认证后，在DataArts Studio数据开发执行脚本、测试运行作业或调度 - [配置空间资源权限策略](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1161.md): 本章介绍如何通过空间资源权限策略，基于用户、用户组或角色，实现对管理中心所有数据连接和IAM委托（仅限于委托对象为“数据湖治理中心 DGC”的云服务委托）的精细权限控制。当未配置某资源的空间资源权限策略时，所有用户默认可以查看并使用该资源。当将某资源（例如某个连接或者某个委托）赋权给任一用户、用户组或角色后，对于非授权对象的普通用户（即非 - [配置队列权限](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1162.md): 本章介绍如何通过队列权限管理，为当前工作空间分配可使用的MRS Yarn和DLI队列资源，并为用户组/用户配置对应的队列权限策略。当前队列分配和队列权限管控均为白名单机制。即如果未分配队列，则无法选择队列；如果队列未对用户授权，则用户无法使用队列。当为工作空间分配队列资源后，在数据开发组件在为作业节点配置队列资源时，可选择的队列为当前空间 - [配置行级访问控制](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1163.md): 在业务开发过程中，存在多个开发者共同访问和维护同一张DWS表的场景，需要针对不同开发者设置不同行数据的访问权限。在这种场景下，您可以配置行级访问控制策略，为不同开发者按照行数据进行授权。在数据安全组件新建行级访问控制策略后，通过策略同步，会将行级访问控制策略同步到DWS，并自动开启该DWS表的行访问控制开关使该策略生效。值得注意的是，行级 - [同步MRS Hive和Hetu权限](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1164.md): 在MRS Hetu对接MRS hive数据源并使用Ranger权限管控的场景下，通过Hetu访问同集群的Hive数据源，会统一使用Hetu端的Ranger权限做鉴权，而不受Hive端的Ranger权限管控。为了避免该场景下需要在Hetu端重复配置Hive数据源权限的问题，您可以参考本章节内容配置hetu权限同步策略，使Hive权限自动同步 - [配置目录权限（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1165.md): 本章介绍如何通过目录权限策略，基于用户、用户组或角色，对数据开发中脚本和作业的目录、数据服务专享版中API的目录以及数据架构中的物理模型、逻辑模型和主题进行权限控制。当工作空间内未配置数据开发、数据服务和数据架构的目录权限策略时，所有用户默认可以查看并操作数据开发、数据服务和数据架构的目录及其中的资源项。当工作空间内已配置数据开发的脚本或 - [配置下载权限（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1169.md): 本章介绍如何通过下载权限策略，基于用户或用户组，对数据开发中SQL脚本执行结果的转储以及在下载中心下载操作进行权限控制。DataArts Studio实例中默认具备命名为“SYSTEM_GENERATE_DEFAULT_DATA_DOWNLOAD_POLICY”的默认下载权限策略，放开所有用户的导出权限。默认策略允许修改和删除。如果没有任 - [审计数据访问日志](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1181.md): 数据安全提供DWS、HIVE和DLI数据源上详细的数据操作日志记录，包括时间、用户、操作对象、操作类型等信息。通过这些日志，可以快速进行数据操作审计，更好地做到数据安全管控。为实现MRS Hive数据源的数据访问审计，需要满足如下条件：MRS Hive数据连接中选择Agent代理的CDM集群为2.10.0.300及以上版本。MRS Hiv - [诊断数据安全风险](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1182.md): 数据安全诊断能够对数据安全能力进行全面诊断，并根据诊断结果，给出修复建议及解决方案。帮助您快速建立起基本数据安全体系，保障数据使用过程的安全可靠。当前仅支持MRS数据源的安全诊断能力。安全诊断的扫描任务超时时间为1小时。数据权限控制诊断项，空间管理员与安全管理员仅统计用户，不统计用户组成员。数据安全诊断当前支持敏感数据保护、数据权限控制和 - [管理回收站](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1183.md): 通过回收站功能，您可以恢复误删的数据安全关键数据。当前综合考虑数据的重要程度、使用频次以及误删后恢复难易程度等各方面因素，定义数据安全的关键数据为权限集（包含空间权限集、权限集以及通用角色）、动态脱敏策略和密钥。在30天内对权限集（包含空间权限集、权限集以及通用角色）、动态脱敏策略和密钥进行过删除操作。仅DAYU Administrato - [查看表权限的拥有者（表权限视图）（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1184.md): 数据安全支持权限清单查看，通过表名展示当前实例下拥有表权限的工作空间用户、用户组和角色（包含空间权限集、权限集和角色）。在新版本模式下仅当使用企业版时，才支持表权限视图。旧版本模式使用基础版及更高版本时即可支持。表-角色页签暂不支持展示存算分离MRS Hive的URL权限策略。当前暂不支持在表权限视图页面直接对权限进行配置、回收。详情请参 - [查看用户的权限（成员权限视图）（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1185.md): 数据安全支持权限清单查看，以当前实例下某工作空间的用户或用户组，查看其通过角色（包含空间权限集、权限集和角色）或权限申请和审批流程所获取的权限。在新版本模式下仅当使用企业版时，才支持成员权限视图。旧版本模式使用基础版及更高版本时即可支持。查看用户权限时，不展示其继承自用户组的权限。当前暂不支持在成员权限视图页面直接对权限进行配置、回收。详 - [管理配置中心](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1186.md): 通过配置中心，您可以配置权限审批工单的清理策略。仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以进行配置，其他普通用户无权限操作。可配置待转储的时间范围为30、60、90、120、150、180天，可配置的实际删除时间范围为7、15、30天，可配置的工单存储数量为1w、2w…直到10w - [启用账号映射（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1192.md): 在未启用细粒度认证及账号映射策略的情况下，当在DataArts Studio数据开发组件执行脚本、测试运行作业时，数据源默认会使用数据连接上的账号进行认证鉴权。因此，即使已通过配置角色/权限集对用户进行权限管控，当用户在进行数据开发时，权限管控依然无法生效。而在启用账号映射策略后，在DataArts Studio数据开发执行脚本、测试运行 - [配置未来表权限（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1193.md): 在配置角色/权限集时，如果给某一用户赋予了DWS数据源某个Schema下的全表权限（即将权限中的数据表配置为*号），则该用户具备对该Schema下的所有表的相应权限。但由于DWS自身权限特性限制，这些赋予的权限仅针对当前已有的表；而对于权限同步后再创建的新表（以下简称未来表），该用户依然没有权限，需要在角色/权限集中再次手动进行权限同步后 - [管理权限有效期（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1195.md): 对于自下而上申请到的用户权限，如果仅短期需要，可以通过有效期进行管理，使权限仅在有效期内生效。在新版本模式下仅当使用企业版时，才支持管理权限有效期。旧版本模式使用基础版及更高版本时即可支持。本章主要介绍申请者如何申请短期权限、续期权限、订阅权限到期提醒，以及管理员如何变更有效期、配置权限到期提醒。仅DAYU Administrator、T - [配置建库申请（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1196.md): 为了管控存算分离MRS Hive数据源的创建数据库流程，数据安全支持通过申请审批的流程在数据源上创建数据库。在新版本模式下仅当使用企业版时，才支持建库申请和建库审批。旧版本模式使用基础版及更高版本时即可支持。本章主要介绍管理员如何配置数据库路径，申请者如何申请创建数据库，以及审批者如何审批建库申请。MRS集群已开启存算分离功能，已在管理中 - [配置数据入湖检测规则（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1197.md): 数据入湖检测规则可用于如下场景的实时敏感信息检测：数据集成（离线作业）进行表数据迁移时的“敏感数据检测”，详见配置离线处理集成作业。数据安全敏感数据发现中的文件敏感数据实时检测，详见检测文件敏感数据（高级特性）。数据安全敏感数据发现中基于入湖检测规则的推荐识别，详见基于入湖检测规则识别敏感信息。在新版本模式下仅当使用企业版时，才支持配置数 - [配置推荐识别（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1198.md): 推荐识别主要用于直接检测数据源表中的敏感数据，支持入湖检测规则和AI推荐识别两种方式。在新版本模式下仅当使用企业版时，才支持推荐识别功能，旧版本模式使用基础版及更高版本时即可支持。推荐识别功能当前在北京四、上海一内测（其他region后续会逐步放开，敬请期待！），但需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。已在管理 - [检测文件敏感数据（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1199.md): 通过创建文件敏感数据检测任务，可以快速识别文件中的敏感信息。在新版本模式下仅当使用企业版时，才支持检测文件敏感数据功能，旧版本模式使用基础版及更高版本时即可支持。文件敏感数据当前在北京四、上海一内测（其他region后续会逐步放开，敬请期待！），但需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。已将待检测的CSV文件上传 - [管理中心操作列表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1201.md): 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 - [数据架构操作列表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1202.md): 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 - [数据开发操作列表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1203.md): 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 - [数据质量操作列表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1204.md): 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 - [数据目录操作列表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1205.md): 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 - [数据服务操作列表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1206.md): 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 - [运维监控](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1209.md): 您可以通过作业目录树，快速跳转到该作业的运维监控界面，查看该作业的监控详细信息。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进入数据开发页面。在数据开 - [云数据库MySQL/MySQL数据库连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1211.md): 连接MySQL数据库连接时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [Oracle数据库连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1212.md): 连接Oracle数据库时，连接参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。Oracle数据库连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。oracle_link数据库服务器配置为要连接的数据库的IP地址或域 - [分库连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1214.md): 分库指的是同时连接多个后端数据源，该连接可作为作业源端，将多个数据源的数据合一迁移到其他数据源上。连接参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。分库连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。my_li - [Doris连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1215.md): 支持连接开源Doris和MRS Doris，连接Doris数据库时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。Doris兼容MySQL协议，您可以使用标准的MySQL客户端或驱动进行连接。但为了充分发挥Doris的高性能潜力并获得最佳的操作体验，我们强烈 - [达梦数据库 DM连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1216.md): 连接达梦数据库 DM时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。达梦数据库 DM连接参数参数名说明取值样例名称连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。dm_link数据库服务器配置为要连接的数据库的IP地址或域名，多个值以 - [配置DWS目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1251.md): 作业中目的连接为DWS连接时，目的端作业参数如表1所示。CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的NUMBER(3,0)字段映射到DWS的SMALLIN - [配置MySQL源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1254.md): 作业中源连接为云数据库MySQL/MySQL数据库连接时，源端作业参数如表1所示。 - [配置Oracle源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1255.md): 作业中源连接为Oracle数据库连接，源端作业参数如表1所示。Oracle作为源端时，如果未配置抽取分区字段或者按表分区抽取这2个参数，CDM自动使用ROWID进行数据分区。 - [配置分库源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1256.md): 作业中源连接为分库连接，源端作业参数如表1所示。选择源连接名称为分库连接对应的后端连接时，此作业即为普通的MySQL作业。新建源端为分库连接的作业时，在字段映射阶段，可以在源字段新增样值为“${custom(host)}”样式的自定义字段，用于在多个数据库中的多张表迁移到同一张表后，查看表的数据来源。支持的样值包括：${custom(ho - [复制作业链接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1279.md): 在数据开发主界面的左侧导航栏，选择数据开发作业开发。进入数据开发后，在作业开发界面，右键单击作业名称，单击“复制作业链接”，可以将作业链接地址快速复制并使用。 - [配置节点并发数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1280.md): 本章节主要介绍如何配置当前作业空间同一时间允许正在运行的作业节点的最大并发数。工作空间的节点并发数不能大于实例的节点并发数上限。详情请参考访问DataArts Studio实例控制台。DataArts Studio实例的节点并发数上限可通过表1获取。其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > - [配置模板](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1282.md): 本章节主要介绍如何创建并使用模板。用户在编写业务代码时，对于重复的业务逻辑，可以直接引用SQL模板，同时在配置作业运行参数的时候，可以直接使用作业参数模板，不用再进行重复配置。该功能适用于以下场景：Flink SQL脚本可以引用脚本模板。在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL - [配置调度日历](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1283.md): 作业调度支持按照日历配置自定义工作日期进行周期调度。调度日历配置完成后，在作业开发界面，在“调度配置”页签，选择周期调度，选择调度日历，即可按照调度日历所定义的工作日期进行调度。如果作业不在日历范围内是空跑，在日历范围内是正常执行。使用调度日历功能后，在作业正常调度和补数据时，作业实例在执行时，系统会检查计划执行时间，是否是工作日。如果实 - [配置任务组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1284.md): 通过配置任务组，可以更细粒度地进行当前任务组中的作业节点的并发数控制。该功能不支持实时处理作业，只支持批处理作业。任务组不能跨工作空间去使用。对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了节点级任务组，则优先级高于作业级的任务组。详情请参考访问DataArts Studio实例控制台。配 - [配置互斥](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1288.md): 通过配置互斥组，可以避免多个作业去并发的运行。配置好互斥组以后，本次设置将在作业的下一个调度周期生效。互斥组配置完成后，在同一个互斥组内的作业，只能有一个作业是运行中，其他作业生成实例后则处于等待运行中。当运行中的作业运行完（包括执行成功、执行失败、取消）或者停止调度后（不包括暂停调度），其他作业需要重新抢锁才能运行，系统会随机选择等待运 - [复制脚本ID](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1293.md): 在数据开发主界面的左侧导航栏，选择数据开发脚本开发。进入数据开发后，在脚本开发界面，右键单击脚本名称，单击“复制ID”，可以将脚本ID快速复制并使用。 - [复制脚本链接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1294.md): 在数据开发主界面的左侧导航栏，选择数据开发脚本开发。进入数据开发后，在脚本开发界面，右键单击脚本名称，单击“复制脚本链接”，可以将脚本链接地址快速复制并使用。 - [复制作业ID](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1295.md): 在数据开发主界面的左侧导航栏，选择数据开发作业开发。进入数据开发后，在作业开发界面，右键单击作业名称，单击“复制ID”，可以将作业ID快速复制并使用。 - [创建DataArts Studio数据连接](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1299.md): 通过配置数据源信息，可以建立数据连接。DataArts Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。配置开发和生产环境的数据连接后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OB - [DWS数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1300.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [DLI数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1301.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [Oracle数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1302.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [RDS(MySQL)数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1303.md): RDS(MySQL)数据连接支持连接云数据库MySQL、自建MySQL等数据库。 - [DIS数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1304.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [主机连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1305.md): Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。Shell和Python脚本都是发往E - [MRS Hive数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1306.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [MRS HBase数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1307.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [MRS Kafka数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1308.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [MRS Clickhouse数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1309.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [MRS Hetu数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1310.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [MRS Impala数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1311.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [MRS Ranger数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1312.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [MRS Flink数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1313.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [MRS Spark数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1314.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [MRS Presto数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1315.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [RDS(PostgreSQL)数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1316.md): RDS(PostgreSQL)数据连接支持连接云数据库PostgreSQL、自建PostgreSQL等数据库。 - [OBS数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1317.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [Apache HDFS数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1318.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [MRS Hudi数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1319.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [Elasticsearch数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1320.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [OpenSource ClickHouse数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1321.md): 服务端若开启了SSL加密，则仅支持勾选数据集成组件。 - [常见错误码参考](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_136.md): 如果操作请求在执行过程中出现异常导致未被处理，则会返回一条错误信息。错误信息中包括错误码和具体错误描述。表1列出了错误信息中的常见错误码。您可以通过表1中的处理建议进行下一步操作，处理相应的异常。 - [配置依赖规则](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1370.md): 通过自定义依赖规则配置，您可以通过选择业务日期（T/T-1/T-2）与具体时间（0-23）来定义依赖规则的配置模式。该配置项不仅统一了依赖规则表达格式的设置，而且提高了作业依赖的配置效率，有效降低了作业依赖配置的操作难度。仅适用周期调度业务场景。详情请参考访问DataArts Studio实例控制台。配置好依赖规则后，请前往调度作业的周期 - [Elasticsearch连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1380.md): Elasticsearch连接适用于第三方云的Elasticsearch服务，以及用户在本地数据中心或ECS上自建的Elasticsearch。Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。连接E - [Doris数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1390.md): 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户：针对MRS 3.x版本集群：使用admin账户登录MRS服务的Manager页面。在Manager页面选择系统 > 权限 > 安全策略 > 密码策略，单击新增密码策 - [集成作业开发](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1431.md): 集成作业包含离线处理作业和实时处理作业，操作入口在数据开发界面。新建集成作业的方式有如下两种：方式一：在“作业开发”界面中，单击“新建集成作业”。方式二：在作业目录中，右键单击目录名称，选择新建集成作业。离线处理作业的详细操作，请参见数据集成（离线作业）。实时处理作业的详细操作，请参见数据集成（实时作业）。 - [开发批处理单任务SQL作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1436.md): 对已新建的作业进行开发和配置。开发单任务模式的批处理作业，请您参考开发SQL脚本、配置作业参数、数据表、函数、调测并保存作业和下载或转储脚本执行结果章节。已创建作业，详情请参见新建作业。当前用户已锁定该作业，否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定，详情参见编辑锁定功能。登录DataArts St - [各数据源的支持情况](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1457.md): 数据集成（离线作业）采用读写分离架构设计，支持任意数据源的读写组合，能够灵活实现不同数据源之间的同步。读写分离，任意组合在数据集成（离线作业）中，每个数据源的“读”和“写”能力是独立的。只要某个数据源支持“读”，即可作为数据同步的源端；只要某个数据源支持“写”，即可作为数据同步的目标端。用户可以根据业务需求，自由组合任意“支持读”的数据源 - [新建离线处理集成作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1458.md): 离线处理集成作业由不同源端和目的端组成，共同执行以完成对数据的一系列操作。配置离线处理集成作业前请先新建作业。离线处理集成作业不支持在企业模式下运行。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio - [配置MySQL源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1461.md): 支持从MySQL导出数据。 - [配置Hive源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1462.md): 支持从Hive导出数据，使用JDBC接口抽取数据。Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。 - [配置HDFS源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1463.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置Hudi源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1464.md): 由于MRS Spark JDBC Server不支持拦截已提交的SQL，当Hudi连接采用JDBC模式时，作业停止后已提交的SQL可能无法被取消。 - [配置Open Gauss/PostgreSQL源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1465.md): 支持从云端的数据库服务导出数据。这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。Open Gauss数据源与PostgreSQL一致，可参考本章节配置。 - [配置SQLServer源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1466.md): 支持从云端的数据库服务导出数据。这些非云服务的数据库，既可以是用户在本地数据中心自建的数据库，也可以是用户在ECS上部署的，还可以是第三方云上的数据库服务。 - [配置Oracle源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1467.md): 支持从Oracle导出数据。 - [配置DLI源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1468.md): 支持从DLI导出数据。DLI桶的生命周期时间默认为2天，因此当作业运行时间超过48小时，可能存在迁移数据缺失。 - [配置OBS源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1469.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置SAP HANA源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1470.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置Kafka源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1471.md): kafka起止策略搭配调度能力可以完成周期增量同步。kafka常见按小时或天周期增量抽取数据，可以使用起止策略搭配周期调度实现。比如用户希望每个小时将新生成的kafka数据，写入hive入湖，实现周期增量数据入湖，需进行以下操作。配置作业参数变量。起始时间：startTime:#{DateUtil.format(DateUtil.addH - [配置DWS源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1473.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置FTP/SFTP源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1474.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置Open Gauss/PostgreSQL目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1475.md): Open Gauss数据源与PostgreSQL一致，可参考本章节配置。 - [配置Oracle目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1476.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置MySQL目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1477.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置SQLServer目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1478.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置Hudi目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1479.md): 由于MRS Spark JDBC Server不支持拦截已提交的SQL，当Hudi连接采用JDBC模式时，作业停止后已提交的SQL可能无法被取消。 - [配置Hive目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1480.md): 支持快速导入数据到MRS的Hive。 - [配置DLI目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1481.md): DLI桶的生命周期时间默认为2天，因此当作业运行时间超过48小时，可能存在迁移数据缺失。 - [配置ElasticSearch目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1482.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置DWS目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1483.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置OBS目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1484.md): 支持使用CSV、CarbonData或二进制格式批量传输大量文件到OBS。 - [配置SAP HANA目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1485.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置ClickHouse目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1486.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置Doris目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1487.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置Doris源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1488.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置HBase源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1489.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置ClickHouse源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1490.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置ElasticSearch源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1491.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置MongoDB源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1492.md): 暂不支持开启SSL的MongoDB数据源。 - [配置HBase目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1493.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置MongoDB目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1494.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置MRS Kafka目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1495.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [DMS Kafka数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1496.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [MongoDB数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1497.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [SFTP/FTP数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1498.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [GBase数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1499.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [DLI数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1500.md): 本数据集成服务全面支持华为云数据湖探索（DLI）产品，支持DLI主流版本，可满足不同用户在多种部署环境下的数据同步需求。网络要求DLI数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。DLI数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。权限要求OBS权限：当DLI作为写入目的端时，需 - [字段转换器配置指导](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1501.md): 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如图1所示。新建字段转换器在迁移过程中可以对字段进 - [配置GBase目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1502.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置GBase源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1503.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [Oracle数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1504.md): 本数据集成服务全面支持云上RDS-Oracle及线下自建Oracle数据源，适配Oracle 19c、11g版本，可满足不同用户在多种部署环境下的数据同步需求。网络要求Oracle数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。Oracle数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打 - [SAP HANA数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1505.md): 本数据集成服务全面支持云上RDS SAP HANA及线下自建SAP HANA数据源，仅支持2.00.050.00.1592305219版本，可满足不同用户在多种部署环境下的数据同步需求。网络要求SAP HANA数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。SAP HANA数据源必须与CDM网络进行通讯，以确保 - [SQL Server数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1506.md): 本数据集成服务全面支持云上及线下自建SQL Server数据源，可满足不同用户在多种部署环境下的数据同步需求。网络要求SQL Server数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。SQL Server数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。权限要求离线读取SQL Ser - [MySQL数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1507.md): 本数据集成服务全面支持云上RDS-MySQL及线下自建MySQL数据源，同时兼容华为云DDM产品以及开源TIDB数据源，可满足不同用户在多种部署环境下的数据同步需求。网络要求MySQL数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性详情请参见网络打通。MySQL数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性详情请参见网络打通 - [PostgreSQL数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1508.md): 本数据集成服务全面支持云上RDS-PostgreSQL及线下自建PostgreSQL数据源，同时兼容GaussDB、Greenplum、金仓数据源，可满足不同用户在多种部署环境下的数据同步需求。网络要求PostgreSQL数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。PostgreSQL数据源必须与CDM网络 - [Redis数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1509.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [RDS(SAP HANA)数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1510.md): RDS(SAP HANA)数据连接支持连接SAP HANA数据库。 - [RDS(达梦数据库DM)数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1512.md): RDS(达梦数据库DM)数据连接支持连接达梦数据库DM。 - [RDS(SQL Server)数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1513.md): RDS(SQL Server)数据连接支持连接云数据库SQL Server、自建SQL Server等数据库。 - [Apache Hive数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1514.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [离线作业概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1515.md): CDM作业作为华为云上一代的数据集成云服务，曾为用户提供稳定的数据迁移与同步能力。随着数据开发场景的日益复杂和调度规模的不断增长，CDM作业“管理与执行耦合”的架构逐渐暴露出以下痛点：与数据开发、数据质量等服务割裂，需要手工拼装流程。单集群瓶颈明显，在大规模并发时段容易出现队列堆积，不支持跨集群执行。读写两端绑定，不支持读写链路的自由组合 - [配置离线处理集成作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1516.md): 数据开发支持创建离线集成作业，通过在界面勾选源端数据和目的端数据，并结合为其配置的参数，实现将源端单表、分库分表、整库的全量或增量数据周期性同步至目标数据表。本文为您介绍离线集成作业的常规配置，各数据源配置存在一定差异，请以配置作业源端参数及配置作业目的端参数为准。同步任务源端和目标端字段类型需要注意精度，如果目标端字段类型最大值小于源端 - [配置RestApi源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1517.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置Redis源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1518.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置Redis目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1519.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置HDFS目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1520.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [新增字段操作指导](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1522.md): 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面“添加字段”可自定义新增字段。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否 - [GaussDB集中式/分布式到Doris参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1524.md): GaussDB抽取优化。可通过在作业任务配置参数单击中“添加自定义属性”来新增GaussDB同步参数。可使用的调优参数具体如下：可通过在Doris的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 - [MySQL到LakeFormation参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1525.md): MySQL抽取优化。可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。可使用的调优参数具体如下：LakeFormation写入优化。您可以在LakeFormation的目的端表配置中修改写入相关配置，并通过单击高级配置中的“查看配置”来添加表属性配置。 - [MySQL与LakeFormation字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1526.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为MySQL，目的端为LakeFormation时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [DWS数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1527.md): 本数据集成服务全面支持华为云DWS企业级云上数据仓库服务，支持DWS主流版本，可满足不同用户在多种部署环境下的数据同步需求。网络要求DWS数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。DWS数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。权限要求DWS读写权限：读权限：从DWS读取 - [MySQL连接属性配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1529.md): 在使用数据集成服务时，您可以根据实际需求配置MySQL数据源的JDBC连接属性，以优化数据迁移过程并解决可能出现的问题。以下是可配置的连接属性及其详细说明，您可以通过添加连接属性增加多个指定数据源的JDBC连接器属性，并参考对应数据库的JDBC连接器说明文档进行配置。在管理中心服务的界面中，找到MySQL数据源的配置部分。在连接属性配置区 - [PostgreSQL连接属性配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1530.md): 在使用数据集成服务时，您可以根据实际需求配置PostgreSQL数据源的JDBC连接属性，以优化数据迁移过程并解决可能出现的问题。以下是可配置的连接属性及其详细说明，您可以通过添加连接属性增加多个指定数据源的JDBC连接器属性，并参考对应数据库的JDBC连接器说明文档进行配置。在管理中心服务的界面中，找到PostgreSQL数据源的配置部 - [MRS Hive数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1532.md): 本数据集成服务全面支持华为云大数据MRS Hive产品，支持Hive主流版本，可满足不同用户在多种部署环境下的数据同步需求。网络要求MRS Hive数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。MRS Hive数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。权限要求Hive读写权限 - [MRS Hudi数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1533.md): 本数据集成服务全面支持华为云大数据MRS Hudi产品，支持Hudi主流版本，可满足不同用户在多种部署环境下的数据同步需求。网络要求MRS Hudi数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。MRS Hudi数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。权限要求Hudi读写权限 - [Kafka增量抽取最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1535.md): Kafka增量抽取是指通过设置特定的时间范围，从Kafka中抽取指定时间段内的数据，以实现数据的周期性同步。这种策略特别适用于需要定期将Kafka中的数据同步到其他存储系统（如Hive数据湖）的场景。通过合理配置Kafka的起止时间策略和调度能力，可以高效地完成周期增量同步任务。常见场景包括但不限于以下几种：按小时同步：每小时将Kafka - [Hive Load/Truncate+Load/Load Overwrite写入模式最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1536.md): 在数据集成服务中，Hive的数据加载操作是常见的数据迁移和更新方式。根据不同的业务需求，可以选择不同的加载模式：Load、Truncate+Load和Load Overwrite。每种模式都有其适用场景和特点。Load模式Load模式是最基本的加载方式，直接将数据文件加载到目标Hive表中。数据集成采用原生的Hive文件写入能力，适配分区 - [Hudi Load/Truncate+Load/Insert Overwrite写入模式最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1537.md): 在数据集成服务中，Hudi的数据写入操作是高效处理数据更新和增量加载的重要方式。Hudi支持Load、Truncate+Load和Insert Overwrite三种写入模式，每种模式都有其独特的适用场景和特点，可以根据不同的业务需求进行选择。Load模式Load模式是Hudi最基本的写入方式，直接将数据写入目标Hudi表中，不会对目标表 - [DMS Kafka数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1538.md): DMS Kafka是华为云基于开源Apache Kafka的消息队列服务，提供高吞吐量、数据持久化、水平扩展性和流数据处理能力。本数据集成服务全面支持华为云DMS Kafka产品，满足不同版本的兼容性需求，确保用户能够无缝对接华为云DMS Kafka的最新特性，同时兼容历史版本，保障数据的稳定传输和处理。网络要求DMS Kafka数据源必 - [Kafka连接属性配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1539.md): 在使用数据集成服务时，您可以根据实际需求配置Kafka数据源的JDBC连接属性，以优化数据迁移过程并解决可能出现的问题。以下是可配置的连接属性及其详细说明，您可以通过单击“添加”按钮来增加多个指定数据源的客户端连接属性，并参考对应Kafka客户端的说明文档进行配置。在管理中心服务的界面中，找到Kafka数据源的配置部分。在连接属性配置区域 - [MRS ClickHouse数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1540.md): MRS ClickHouse是一款华为云面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。本数据集成服务全面支持华为云MRS-Clickhouse产品，支持 - [Doris数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1541.md): Doris是一种高性能、高扩展性的分布式分析型数据库，支持实时数据写入和快速查询，适用于海量数据的多维分析和报表生成等场景。本数据集成服务支持华为云上MRS Doris与CloudTable Doris数据源，提供高效便捷的数据迁移服务。Doris Reader通过原生JDBC方式进行数据读取，DorisWriter写入支持JDBC/St - [ClickHouse连接属性配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1542.md): 在使用数据集成服务时，您可以根据实际需求配置ClickHouse数据源的JDBC连接属性，以优化数据迁移过程并解决可能出现的问题。以下是可配置的连接属性及其详细说明，您可以通过单击“添加”按钮来增加多个指定数据源的JDBC连接器属性，并参考对应数据库的JDBC连接器说明文档进行配置。在管理中心服务的界面中，找到ClickHouse数据源的 - [OBS数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1543.md): 华为云OBS（对象存储服务）是一种海量、安全、高可靠、低成本的云存储服务，支持多种数据存储和访问方式，适用于多种场景如数据备份、图片视频存储等。本数据集成服务支持华为云OBS产品，提供读取和写OBS的数据迁移能力。网络要求OBS数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。OBS数据源必须与CDM网络进行通讯 - [Doris JDBC、StreamLoad写入方式最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1544.md): 在数据集成服务中，Doris提供了多种数据写入方式，主要包括JDBC、StreamLoad。这些方式各有特点和适用场景，用户可以根据实际需求进行选择。特点：通用性：JDBC是一种标准的数据库连接方式，适用于大多数支持JDBC的数据库。灵活性：支持复杂的SQL操作，如数据插入、更新、删除等。易用性：对用户友好，操作简单，易于理解和使用。通用 - [配置OBS增量读取最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1545.md): OBS增量抽取是指通过设置特定的时间范围，从OBS中抽取指定时间段内的数据，以实现数据的周期性同步。这种策略特别适用于需要定期将OBS中的数据同步到其他存储系统（如Hive数据湖）的场景。通过合理配置OBS读取目录，可以高效地完成周期增量同步任务。OBS桶中以小时或天进行目录区分，则可以搭配调度变量+周期调度的方式进行增量抽取。本章节以按 - [OBS委托方式对接最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1546.md): DataArts Studio支持通过IAM委托实现免AK/SK访问对象存储服务（OBS）。在数据连接侧开启“使用委托”开关，并在数据开发侧配置调度身份，即可实现全链路安全访问。已具备IAM管理员权限。已创建待访问的OBS桶。登录IAM控制台，选择“委托 > 创建委托”。委托类型选择“云服务”，云服务选择“数据湖治理中心 DGC”。选择委 - [MongoDB数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1547.md): MongoDB是一个面向文档的NoSQL数据库，以灵活的JSON格式存储数据，支持高并发和水平扩展。本数据集成服务支持开源及云上MongoDB产品，支持其主流版本，可满足不同用户在多种部署环境下的数据同步需求。网络要求MongoDB数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。MongoDB数据源必须与CDM - [Redis数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1548.md): Redis是一个开源的高性能内存数据结构存储系统，可用作数据库、缓存和消息代理。本数据集成服务支持开源及华为云MRS Redis产品，兼容其主流版本，提供高效、便捷的数据迁移能力。网络要求Redis数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。Redis数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。 - [Elasticsearch数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1549.md): Elasticsearch是一个基于Lucene的分布式搜索与分析引擎，常用于全文检索、日志分析、实时数据查询和大规模数据聚合。华为云的云搜索服务（CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。本数据集 - [Apache RocketMQ数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1550.md): Apache RocketMQ是一个开源的分布式消息中间件，具有低延迟、高吞吐、高可用和强一致性的特点，广泛用于大规模分布式系统的异步通信与解耦。本数据集成服务支持Apache RocketMQ产品，支持结构化数据源、半结构化数据源等数据迁移写入能力。网络要求Apache RocketMQ数据源必须与CDM网络进行通讯，以确保数据传输的顺 - [OpenSource ClickHouse数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1551.md): OpenSource ClickHouse是一个开源、高性能、分布式的列式数据库管理系统，专为实时大规模数据分析而设计。本数据集成服务支持开源OpenSource Clickhouse产品，提供高效、便捷的读写ClickHouse数据迁移能力。网络要求OpenSource ClickHouse数据源必须与CDM网络进行通讯，以确保数据传输 - [FTP数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1552.md): 本数据集成服务FTP数据源为您提供读取和写入FTP双向通道的功能。网络要求FTP数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。FTP数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。端口放通FTP端口（21）：需放通TCP 21供华为云数据集成服务访问。FTP端口（21）：需放通TC - [SFTP数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1553.md): 本数据集成服务SFTP数据源为您提供读取和写入SFTP双向通道的功能。网络要求SFTP数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。SFTP数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。端口放通SFTP端口（22）：需放通TCP 22供华为云数据集成服务访问。SFTP端口（22） - [GBase数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1554.md): GBase数据库是一款国产高性能、高可靠、高安全的分布式分析型数据库，广泛应用于大数据分析与实时决策支持场景。本数据集成服务支持GBase数据库，提供读写数据迁移能力。网络要求GBase数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。GBase数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网 - [DataArts Fabric SQL数据源（内测中）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1555.md): 华为云DataArts Fabric SQL是全托管Serverless数据平台，秒级弹性分析TB-PB级湖仓数据，免运维，一套SQL即可打通AI与大数据处理。本数据集成服务支持华为云DataArts Fabric SQL数据源，提供高效便捷的数据迁移服务。以下统一简称为Fabric。FabricWriter采用“文件落盘+原子入库”的两 - [DLI Load/Truncate_Load/Insert Overwrite写入模式最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1556.md): 数据集成服务使用DLI（数据湖探索）作为Lakehouse目标端时，同样提供三种写入模式：Load、Truncate+Load与Insert Overwrite。每种模式都有其独特的适用场景和特点，可以根据不同的业务需求进行选择。Load模式Load模式是DLI最基本的写入方式，直接将数据写入目标DLI表中，不会对目标表进行清理操作，而是 - [配置FTP/SFTP增量读取最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1557.md): FTP/SFTP增量抽取是指通过设置特定的时间范围（如文件修改时间、创建时间或文件名中的时间标识），从FTP/SFTP服务器中仅抽取指定时间段内新增或变更的文件，以实现数据的周期性同步。这种策略特别适用于需要定期将FTP/SFTP服务器中的数据（如日志文件、业务报表、第三方系统导出数据等）同步到其他存储系统（如OBS、HDFS、数据湖等） - [DataArts Fabric SQL写入模式最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1558.md): 数据集成服务将上游数据写入DataArts Fabric 时，提供 Insert Into与Insert Overwrite两种SQL级写入模式。两者均通过FabricWriter采用“文件落盘+原子入库”的两级提交机制：首先创建一个临时Fabric表，将上游数据以该临时表对应的文件格式直接写入华为云OBS目录；随后通过执行INSERT/ - [DataArts Fabric SQL数据源网络配置最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1559.md): 为实现华为云数据集成服务与DataArts Fabric SQL服务之间的安全、稳定网络通信，需通过VPC终端节点（VPCEP）进行接入，并配置LakeFormation作为元数据管理能力。本流程包括创建接入管理、配置VPCEP终端节点、设置域名解析等关键步骤。已创建数据集成服务所在VPC及子网。已开通DataArts Fabric与La - [Apache HDFS数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1560.md): 本数据集成服务支持开源Apache HDFS数据源，提供高效便捷的数据迁移服务。网络要求Apache HDFS数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。Apache HDFS数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。访问端口放通：同 Hadoop 版本默认值略有差异，可按 - [Apache Hive数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1561.md): 本数据集成服务支持开源Apache Hive产品，支持Hive主流版本，可满足不同用户在多种部署环境下的数据同步需求。网络要求Apache Hive数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。Apache Hive数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。访问端口放通：在配 - [MRS HBase数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1562.md): 本数据集成服务全面支持华为云大数据MRS HBase产品，支持HBase 1.x/2.x版本，可满足不同用户在多种部署环境下的数据同步需求。网络要求MRS HBase数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。MRS HBase数据源必须与CDM网络进行通讯，以确保数据传输的顺畅性。详情请参见网络打通。权限 - [RestApi数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1563.md): RestApi是一种用于构建和发送HTTP请求的工具，能够方便地与各种基于REST架构风格的网络服务进行交互，具有易用性高、灵活性强、可扩展性好等特点，广泛应用于不同系统之间的数据交互与集成场景。本数据集成服务支持 RestApi，可实现对多种数据源（包括结构化数据源、半结构化数据源等）的灵活访问与数据读取，进而将数据进行高效迁移与写入， - [Rest Client数据集成鉴权最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1564.md): 在数据集成场景中，Rest Client作为与RESTful API进行交互的重要工具，其鉴权机制的正确配置是保障数据安全和交互稳定性的关键。以下是围绕四种常见鉴权方式的最佳实践指南：无鉴权（NONE）当数据源API无需鉴权时，可选择“无鉴权”方式。这种方式适用于公开的API接口或在内部安全网络环境中且无需额外验证的场景。当数据源API无 - [JDBC分片并发能力操作指导](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1565.md): 在数据集成过程中，JDBC 分片技术是提升数据处理效率的关键手段之一。通过将数据按照特定规则划分为更小的片段，JDBC 分片能够优化数据读取和处理过程。华为云数据集成服务提供了三种主要的分片能力：按表分区进行分片、根据主键排序的动态分片以及通过 MaxMin 值分割的范围值分片。本文将详细介绍这三种分片能力，并通过表格展示每种分片能力支持 - [准备工作](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1566.md): 在本示例中，选择MRS Hive作为数据底座。准备支持Hive的MRS集群，并在DataArts Studio管理中心创建MRS Hive数据连接。请参考创建DataArts Studio数据连接章节准备数据连接。在DataArts Studio数据开发中选择MRS Hive数据连接，创建数据库和数据表。考生信息数据表主要包括：准考证号（ - [MongoDB Combine函数说明最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1567.md): combine() 函数是 MongoDB Reader 插件中用于高级字段处理的功能。该函数提供了一种数据迁移方法：在字段映射配置中明确指定的字段将正常迁移，而 MongoDB 中未明确配置的剩余字段则会自动合并成一个统一的 JSON 字符串。当在字段映射中使用 combine() 函数时，数据集成将执行以下操作：1. 配置字段优先处理 - [配置SFTP/FTP目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1568.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [管理Notebook资源组](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1569.md): 在创建Notebook个人运行环境时，需要选择资源组以确保Notebook实例的基础脚本可以正常运行，您需要根据业务需求提前购买Notebook资源组。Notebook当前为受限使用功能。如需使用该特性，请联系客服或技术支持人员。目前仅支持华东二局点申请开放使用。该功能受限于当前Region的ECS资源。当前Notebook功能处于首版本 - [Lakeformation数据源（内测中）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1570.md): 华为云LakeFormation是华为云提供的一个企业级数据湖一站式构建服务，它通过在存算分离架构基础上提供统一的元数据管理、细粒度权限控制和兼容开源生态的能力，帮助企业高效构建并运营数据湖。本数据集成服务支持华为Lakeformation数据源，提供高效便捷的数据迁移服务。Lakeformation数据集成采用原生OBS文件写入方式，支 - [Lakeformation写入模式最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1571.md): 数据集成服务在将上游数据写入Lakeformation时，提供了LOAD和LOAD OVERWRITE两种写入模式。这两种模式都会在表的OBS路径下创建一个临时路径，将上游数据以表对应的文件格式直接写入该临时路径中；然后通过重命名文件的方式将其移动到表的正式目录下。不同之处在于，LOAD模式会直接移动文件，实现数据的新增；而LOAD OV - [LakeFormation数据源网络配置最佳实践](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1572.md): 为实现华为云数据集成服务与Lakeformation服务之间的安全、稳定网络通信，需通过VPC终端节点（VPCEP）进行接入。本流程包括创建接入管理、配置VPCEP终端节点、设置域名解析等关键步骤。已创建数据集成服务所在VPC及子网。已开通LakeFormation服务。当前账号具备VPCEP、DNS、VPC等相关资源配额。登录LakeF - [Notebook概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1573.md): DataArts Studio的Notebook是一个交互式开发环境，提供全托管式JupyterLab云化版本，即开即用。帮助数据工程师及数据科学家轻松完成开发、调试、调度集群作业，并支持实时探索、处理和数据可视化。Notebook是基于开源JupyterLab进行了深度优化的交互式数据分析挖掘模块，提供在线的开发和调试能力，用于编写和调 - [创建Notebook实例](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1574.md): 本章节提供详细的创建Notebook实例的指导。已创建好资源组。创建资源组请参见管理Notebook资源组。系统已预置了镜像，直接使用即可。一个用户在当前工作空间最多能创建10个Notebook实例。系统预置角色中，不同角色的权限如下。如果需要使用系统预置角色操作，请选择合适的角色。当前工作空间管理员以及具有DAYU Administra - [使用Notebook在线开发和调试](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1575.md): 本章节详细介绍使用Notebook开发任务的操作指导。已创建Notebook实例并且已启用（状态为运行中）。创建Notebook实例的操作请参见创建Notebook实例。一个用户在当前工作空间最多能创建10个Notebook。当前仅支持MRS Spark、Fabric SQL两种数据类型。用户只能使用归属人为自己的Notebook实例进行 - [绑定计算资源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1576.md): 当前仅支持MRS Spark、Fabric SQL两种数据类型。仅当前工作空间管理员、具有DAYU Administrator或者Tenant Administrator权限的用户、用户自定义角色中拥有“新建”权限的用户，才可以绑定计算资源。如果用户同时拥有系统预置角色和用户自定义角色，其权限取两种角色权限的并集。绑定MRS Spark计 - [常用操作按钮介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1577.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [依赖包](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1578.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [快捷键介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1579.md): 使用Esc+H，可以快速查看所有键盘快捷键。 - [配置Lakeformation目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1580.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [Apache RocketMq数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1581.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [引用脚本模板和参数模板的使用介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1582.md): 该功能适用于以下场景：Flink SQL脚本可以引用脚本模板。在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。在Flink SQL单任务作业中引用脚本模板。在Flink Jar单任务作业中使用参数模板。在 - [查询SQL获取max值传递给CDM作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1584.md): 通过查询SQL语句，将获取到的最大时间的max值传递给CDM作业。在CDM作业的高级属性里面，通过where子句判断最大时间范围，获取所需要的迁移数据，从而完成数据迁移任务，最终完成增量迁移任务。已完成新建数据连接的操作。已完成新建数据库的操作。创建SQL脚本在数据开发主界面的左侧导航栏，选择数据开发脚本开发。创建一个SQL脚本。本案例以 - [配置Apache RocketMq目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1587.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [Notebook环境目录提交到项目目录](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1588.md): Notebook当前为受限使用功能。如需使用该特性，请联系客服或技术支持人员。目前仅支持华东二局点申请开放使用。该功能受限于当前Region的ECS资源。当前Notebook功能处于首版本公测阶段，建议仅用于个人开发和测试。名称只能包含：英文字母、数字、中文、中划线、下划线和点号。名称可以自定义。指定一个Notebook作业存放的路径。 - [Notebook作业开发](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1589.md): Notebook当前为受限使用功能。如需使用该特性，请联系客服或技术支持人员。目前仅支持华东二局点申请开放使用。该功能受限于当前Region的ECS资源。当前Notebook功能处于首版本公测阶段，建议仅用于个人开发和测试。NoteBook作业调度对接MRS Spark时，不支持基于个人的细粒度数据权限管控。作业最大配置为100000个。 - [Lakeformation连接属性配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1590.md): 在使用数据集成服务时，您可以根据实际需求配置Lakeformation数据源的额外配置属性，以优化数据迁移过程并解决可能出现的问题。以下是可配置的连接属性及其详细说明。在数据集成作业，选择Lakeformation作为数据源，目的端配置“额外配置”参数即可。额外配置入口配置对应参数 - [各数据源脏数据的支持情况](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1591.md): 在数据集成过程中，可能会因数据类型不匹配、格式错误、约束冲突等原因产生脏数据。CDM支持将脏数据单独记录并写入指定存储位置，便于后续分析与处理。不同数据源在作为源端（读）和目的端（写）时，对脏数据记录的支持能力存在差异，具体支持情况如下表所示： - [MongoDB与DWS字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1596.md): Migration会根据源端的字段类型，按照默认规则转换为目的端的字段类型，并以此完成自动建表和实时同步。对于MongoDB类型的源端，系统会解析目标集合的第一份文档，以推断源端字段结构类型，并据此确定DWS目标端的字段类型。当源端为MongoDB，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [实时作业概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1601.md): DataArts Studio的Migration服务提供了实时数据同步功能，可将数据通过同步技术从一个数据源复制到其他数据源，并保持一致，实现关键业务数据的实时流动。常用场景：实时分析，报表系统，数仓环境等。同步特点：实时同步功能聚焦于表和数据，并满足多种灵活性的需求，例如多对一、一对多，动态增减同步表，不同库表名之间同步数据等。实时同 - [支持的数据源](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1602.md): 实时集成作业支持的数据源如下表所示。 - [新建实时集成作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1603.md): 作业在每个工作空间的最大配额为10000，请确保当前作业的数量未达到最大配额。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进入数据开发页面。在数据开发 - [配置实时集成作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1604.md): 完成数据连接、网络、migration资源组等准备工作的配置后，您可创建并配置实时集成作业，将多种输入及输出数据源搭配组成同步链路，进行数据的实时同步。已开通华为账号，并授权使用实时数据集成服务，详情请参考注册华为账号并开通华为云和授权使用实时数据集成。已购买migration资源组，详情请参见购买数据集成资源组。已准备数据源，对应连接账 - [在Hive脚本中使用参数并进行作业调度](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1609.md): 本章节介绍如何在数据开发模块上开发一个Hive脚本并进行作业调度的示例。配置“SQL脚本”参数，需要新建Hive SQL脚本或者引用已创建的Hive SQL脚本。新建时，单击编写Hive SQL脚本，该脚本包含参数传递。假设我们要从一个表中选择数据并插入到另一个表中：-- 定义参数 SET output_path = '${output_ - [开发一个Shell脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1610.md): 本章节介绍如何在数据开发模块上开发一个Shell脚本示例。已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。本示例主机选择CentOS 8.0 64bit with ARM(40GB)的公共镜像，并且使用ECS自带的Shell环境，您可登录主机后使用shell命令确认服务器的Shell环境。本示例主机选择CentOS 8 - [开发一个Python脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1611.md): 本章节介绍如何在数据开发模块上开发一个Python脚本示例。已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。本示例主机选择CentOS 8.0 64bit with ARM(40GB)的公共镜像，并且使用ECS自带的Python环境，您可登录主机后使用python命令确认服务器的Python环境。本示例主机选择Cent - [配置模型](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1612.md): 通过DataArts智能助手配置功能，可以进行模型配置操作。在进行模型配置前，请确保已对接MaaS平台，并且已成功创建MaaS模型，并能够获取模型url和API key。当前只有具备DAYUAdministrator或Tenant Administrator账号权限的用户才可以创建、编辑、删除模型。详情请参考访问DataArts Stud - [查看监控指标](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1613.md): 当您启动了实时集成作业后，云监控服务会自动关联实时集成作业的监控指标，帮助您精确掌握作业的各项性能指标和运行情况。由于监控数据的获取与传输会花费一定时间，因此监控显示的是当前时间5～10分钟前的状态。如果您的实时处理集成作业刚启动完成，请等待5～10分钟后查看监控数据。使用实时集成作业监控功能，需获取CES相关权限。监控指标对应的实时集成 - [配置日志存储](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1614.md): 通过DataArts智能助手配置功能，可以进行日志存储配置操作。该功能强依赖云日志服务（LTS），如果没有该云服务，此功能则不可用。详情请参考访问DataArts Studio实例控制台。仅具有DAYU Administrator或者Tenant Administrator权限的用户才能打开此开关。开启后，智能助手的模型调用情况会被上报到 - [配置规则](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1616.md): 通过配置自定义规则，可以让DataArts智能助手遵循特定要求回答问题。例如，让所有查询都自动执行数据脱敏和SQL审核，或者让用户保存常用筛选条件，避免每次都重复输入等。详情请参考访问DataArts Studio实例控制台。不同的角色查看、编辑和删除规则的权限不同，具体请参见表2。查看、编辑和删除规则用户在“规则配置”页面可以查看该工作 - [智能分析与修正](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1617.md): 数据开发脚本运行报错时，用户可通过使用智能助手进行问题诊断和修复功能，快速定位并解决问题，简化报错问题排查与修复流程，帮助用户轻松、高效地完成问题的定位和修改。已配置智能助手模型，具体操作请参见配置模型。脚本或作业执行失败。详情请参考访问DataArts Studio实例控制台。DataArts智能助手自动对脚本执行失败问题进行分析，给出 - [查看使用报告](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1618.md): 在数据开发过程中，随着AI辅助编程工具的普及，用户对Agent效能的度量需求从简单的“次数维度”深化到“质量维度”。为了更细致地评估AI助手在SQL和代码生成中的效能，DataArts智能助手构建了实时、准确、可视化的SQL和代码行数统计体系，支持多维度下钻分析，帮助开发者量化个人编程效率，优化Prompt技巧，同时为团队管理者提供评估A - [场景说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1619.md): 在实际生产过程中，如某集团内部，不同部门间的敏感数据隔离，出于数据安全考虑要求员工只能看到所在部门的数据。这时候需要针对不同用户或者角色增加数据访问权限控制，防止越权使用行为。数据安全组件可以通过用户访问权限控制，让用户只能访问到职权范围内的数据，进而保护集团内的数据资产安全。本示例主要介绍如何使用企业账号通过DataArts Studi - [Rest Client数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1620.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [准备工作](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1621.md): 为dlg_agency委托授权时，应按照您的业务场景，从表1中选择所需的授权项或系统权限进行授权，其中授权项或系统权限二者选其一配置。DLI权限管理业务场景需要授予的权限为IAM权限和DLI权限同步权限。授权操作示例如下：名称：DataArtsIamUserGroup_IAM策略配置方式：单击“JSON视图”，切换到JSON视图。策略内容 - [配置DLI访问授权](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1623.md): 本案例使用企业账号在DataArts Studio数据安全组件中进行DLI访问权限控制。仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以创建、修改或同步空间权限集，权限集管理员支持同步空间权限集，其他普通用户无权限操作。详情请参考访问DataArts Studio实例控制台。空间权限集 - [验证DLI访问授权](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1624.md): DLI访问授权配置完成后，在数据湖探索DLI服务中验证DLI访问授权是否成功。 - [场景说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1625.md): 在实际生产过程中，如某集团内部，不同部门间的敏感数据隔离，出于数据安全考虑要求员工只能看到所在部门的数据。这时候需要针对不同用户或者角色增加数据访问权限控制，防止越权使用行为。数据安全组件可以通过用户访问权限控制，让用户只能访问到职权范围内的数据，进而保护集团内的数据资产安全。本示例介绍如何使用企业账号通过DataArts Studio数 - [LTS数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1626.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [配置LTS源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1627.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [YASHAN连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1628.md): 连接YASHAN时，相关参数如表1 YASHAN连接参数所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [配置YASHAN源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1629.md): 作业中源连接从YASHAN导出的数据时，源端作业参数如表1所示。 - [支持的数据源（24.4.x & 2.10.0.400）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1630.md): 数据集成有两种迁移方式，支持的数据源有所不同：表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件迁移支持的数据源类型。整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库整体迁移场景，请参见整库迁移支持的数据源类型。表/文件迁移：适用于数据入湖和数据上云场景下，表或文件级别的数据迁移，请参见表/文件 - [Rest Client连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1631.md): 连接Rest Client时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [配置RestApi源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1632.md): 作业中源连接从RestApi导出的数据时，源端作业参数如表1所示。 - [准备工作](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1633.md): 为dlg_agency委托授权时，应按照您的业务场景，从表1中选择所需的授权项或系统权限进行授权，其中授权项或系统权限二者选其一配置。DWS权限管理业务场景需要授予的权限为IAM权限、MRS/DWS数据连接Agent权限和DWS用户同步权限。授权操作示例如下：创建自定义策略时，暂不支持同时选择全局级云服务和项目级云服务，需要拆分为两条策略 - [配置DWS访问授权](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1634.md): 本案例使用企业账号在DataArts Studio数据安全组件中进行DWS访问权限控制。仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以同步用户，创建、修改或同步空间权限集，权限集管理员支持同步空间权限集，其他普通用户无权限操作。详情请参考访问DataArts Studio实例控制台。 - [验证DWS访问授权](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1635.md): 使用前面授权的IAM用户验证。本示例以xiaoyu0514为例。详情请参考访问DataArts Studio实例控制台。仅DAYU Administrator、Tenant Administrator或者数据安全管理员有权限配置细粒度认证状态。为了验证本示例，可以给xiaoyu0514添加DAYU Administrator、Tenant - [场景说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1636.md): 在实际生产过程中，如某集团内部，不同部门间的敏感数据隔离，出于数据安全考虑要求员工只能看到所在部门的数据。这时候需要针对不同用户或者角色增加数据访问权限控制，防止越权使用行为。数据安全组件可以通过用户访问权限控制，让用户只能访问到职权范围内的数据，进而保护集团内的数据资产安全。本示例介绍如何使用企业账号通过DataArts Studio数 - [准备工作](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1637.md): 为dlg_agency委托授权时，应按照您的业务场景，从表1中选择所需的授权项或系统权限进行授权，其中授权项或系统权限二者选其一配置。MRS权限管理业务场景需要授予的权限为IAM权限、MRS/DWS数据连接Agent权限和MRS用户同步权限。授权操作示例请参见为dlg_agency委托授权。MRS数据源同步前，要求用户或者用户所在的用户组 - [配置MRS访问授权](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1638.md): 本案例使用企业账号在DataArts Studio数据安全组件中进行MRS访问权限控制。仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以同步用户，创建、修改或同步空间权限集，权限集管理员支持同步空间权限集，其他普通用户无权限操作。详情请参考访问DataArts Studio实例控制台。 - [验证MRS访问授权](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1639.md): 使用前面授权的IAM用户验证。本示例以用户xiaoyu0514为例。详情请参考访问DataArts Studio实例控制台。在未启用细粒度认证的情况下，当在DataArts Studio数据开发组件执行脚本、测试运行作业时，数据源会使用数据连接上的账号进行认证鉴权。因此，即使已通过配置角色/权限集对用户进行权限管控，当用户在进行数据开发时 - [REDSHIFT连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1642.md): 连接REDSHIFT时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [IBM Db2连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1643.md): 连接IBM Db2时，相关参数如表1所示。作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 - [配置REDSHIFT源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1644.md): 作业中源连接为REDSHIFT导出的数据时，源端作业参数如表1所示。目前，该数据源仅支持目标端为DWS数据源，其他数据源暂不支持。 - [配置IBM Db2源端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1645.md): 作业中源连接为IBM Db2导出的数据时，源端作业参数如表1所示。 - [配置GaussDB目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1646.md): 当作业将数据导入到GaussDB时，目的端作业参数如配置GaussDB目的端参数所示。 - [配置IBM Db2目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1647.md): 当作业将数据导入到IBM Db2时，目的端作业参数如表1所示。 - [Oracle与DWS字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1648.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为Oracle，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。其他Oracle类型在Migration Oracle中暂不支持， 如CLOB，BLOB等 。 - [配置DataArts Fabric SQL目的端参数](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1652.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [基线运维概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1801.md): 基线运维功能当前为受限使用功能，如需使用该特性，请联系客服或技术支持人员。当前仅北京四、华南广州和上海一局点给用户开放使用。基线运维功能支持用户通过配置基线任务，实现对任务运行状态及资源使用情况的监控；通过配置运维基线，保障复杂依赖场景下重要数据在预期时间内正常产出，帮助用户有效降低配置成本、避免无效报警、自动监控所有重要任务。应用场景： - [基线管理](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1802.md): 为了保障重要任务能按时完成，用户可以使用基线管理功能将重要任务添加至基线上并设置承诺时间和预警余量时间。当系统判断基线任务可能无法在承诺时间前完成时，将发出告警。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts - [基线实例](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1803.md): 系统使用基线实例计算任务每次运行的预计完成时间。本章节为您介绍如何查看基线实例详情和基线运行通知。仅开启状态的基线才会生成基线实例。详细信息请参见基线管理。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Stu - [事件管理](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1804.md): 基线任务及其上游任务出错，或关键路径上的任务变慢时，将会产生相应的事件，用户可以在事件管理页面查看事件详情。基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警，保障复杂依赖场景下重要数据能在预期时间内顺利产出。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问Da - [合理配置基线承诺时间和预警余量](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1805.md): 本章节介绍如何合理地配置基线承诺时间和预警余量。基线运维能够及时捕捉导致任务无法按时完成的异常情况并提前预警，保障复杂依赖场景下重要数据能在预期时间内顺利产出。基线承诺时间是任务运行成功的最晚时间点。即面向数据应用，任务承诺在该时间点前完成。如果希望为运维人员预留一定的时间处理异常，用户可以为基线设置预警余量，则系统会将承诺时间-预警余量 - [基线运维约束限制](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1806.md): 使用基线运维特性时，为了保证任务的优先级生效，需要注意以下要求：MRS约束限制：在MRS集群场景中，优先级配置只支持使用MRS API模式的数据连接类型，不支持代理模式的数据连接。DataArts Studio的MRS节点支持优先级功能，如果MRS集群是安全模式（Kerberos认证为开启状态），需要增加MRS Hive配置的白名单，需要 - [审批中心](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1820.md): 对于简单模式工作空间，当前支持开发者在提交脚本和作业时，由指定审核人进行审批。审批中心可以对单据审批进行统一管理，对审批人进行工作空间级的配置和维护。仅当前工作空间的管理员或者拥有DAYU Administrator或Tenant Administrator权限的用户，可新建、修改和删除审批人。审批人必须为当前工作空间管理员或者拥有DAY - [下载中心](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1821.md): 数据开发模块对于SQL脚本执行的结果支持直接下载和转储。SQL执行结果进行下载和转储后，可以通过下载中心查看下载和转储的结果。通过下载中心，对SQL脚本执行的结果进行统一管理。对下载的结果可以进行查看和删除，对转储的结果可以进行查看、下载和删除。仅SQL脚本和单任务SQL作业运行完成并且返回结果后，执行下载和转储，在下载中心生成记录。下载 - [操作历史](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1822.md): 通过操作历史可以查看数据开发的历史操作数据。系统最多保存最近三个月的历史数据，同时会自动清理三个月之前的更老的数据记录。操作历史目前仅在部分region上线， 实际以控制台为准。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在D - [开发实时处理单任务MRS Flink SQL作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1823.md): 对已新建的作业进行开发和配置。开发单任务模式的实时处理Flink SQL作业，请您参考开发SQL脚本、配置作业参数、保存作业并运行和模板章节。已新建作业。当前用户已锁定该作业，否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定，详情参见编辑锁定功能。登录DataArts Studio管理控制台。详情请参考访 - [开发实时处理单任务MRS Flink Jar作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1824.md): 参见新建作业创建一个实时处理的单任务Flink Jar作业。参数设置完成后，单击“保存”，并提交该作业。单击“启动”，选择启动方式后，运行该作业。运行完成后，前往“作业监控 > 实时作业监控”，查看作业运行详细信息。MRS Flink支持通过租户面连接的jobGateway方式手动触发savepoint。注意：MRS Flink作业触发s - [开发实时处理单任务DLI Spark作业](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1825.md): 参见新建作业创建一个实时处理的单任务DLI Spark作业。参数设置完成后，单击“保存”，并提交该作业。单击“启动”，调度运行该作业。请前往“运维调度 > 作业监控”界面的“实时作业监控”查看作业运行结果。单击编辑器右侧的参数，展开配置页面，配置如表4所示的参数。单击“作业参数预览”页签，展开预览页面，配置如表5所示的参数。在作业参数预览 - [发布脚本任务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1902.md): 在企业模式中，开发者提交脚本版本后，系统会对应产生一个脚本类型的发布任务。开发者确认发包后，待拥有管理员、部署者、DAYUAdministrator或Tenant Administrator权限的用户或者拥有自定义角色（查询发布包权限、撤销待发布任务权限）权限的用户审批通过，然后将修改后的脚本同步到生产环境。管理员导入脚本时，选择导入提交 - [发布作业任务](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1903.md): 在企业模式中，开发者提交作业版本后，系统会对应产生一个作业类型的发布任务。开发者确认发布后，待拥有管理员、部署者、DAYUAdministrator或Tenant Administrator权限的用户或者拥有自定义角色（查询发布包权限、撤销待发布任务权限）权限的用户审批通过，然后将修改后的作业同步到生产环境。管理员导入作业时，选择导入提交 - [自动建表原理介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2000.md): CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的NUMBER(3,0)字段映射 - [DataArts智能助手概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2103.md): DataArts Studio智能助手可以辅助您轻松、高效地完成数据治理工作。DataArts智能助手当前为受限使用功能，如需使用该特性，请联系客服或技术支持人员。目前仅支持上海一、上海二、华南-广州局点申请开放使用。在数据开发界面的右侧，单击打开DataArts智能助手，开始使用DataArts智能助手。DataArts智能助手当前支持 - [SQL优化](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2104.md): SQL优化功能主要是对指定SQL代码进行结构优化，提高代码效率、可读性、简洁度。SQL优化入口：单击输入框上方的后再单击“SQL优化”以“生成一段合并两张表的语句”生成的SQL语句为例，直接复制SQL生成中的SQL语句到输入框，选择一个模型，单击右下角的即可运行。不同于“SQL改写”，该功能是不用提任何要求的，且是从使用性能角度提出优化点 - [SQL生成](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2105.md): SQL生成入口：单击输入框上方的“SQL生成”单击输入框上方的后再单击“SQL生成”数据表选择成功后，即可结合“SQL生成”功能一起使用。数据表选择成功后，即可结合“SQL生成”功能一起使用。打开DataArts智能助手。单击“SQL生成”。选择数据表。根据实际需要基于所选数据表生成SQL代码（具体示例操作请参见SQL生成示例）。您也可结 - [自定义模型](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2106.md): 自定义模型入口：单击DataArts智能助手左下方的下拉框，会展示所有已创建的模型。然后单击“新增模型”，会自动跳转到所有自定义模型的模型列表页面。新增模型在DataArts智能助手的右上角，单击，选择“模型配置”，进入模型配置页面，自定义配置模型。自定义模型的详细操作，请参见配置模型。 - [快捷找表](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2109.md): 快捷找表功能主要是根据数据地图查找目标表，为了帮助用户可以更好地将其他SQL功能和数据表结合使用，因此将这个快捷功能放在第一个进行介绍。快捷找表是从数据地图获取实例下的所有数据表，从而将DataArts智能助手与数据地图进行交互。快捷找表入口：单击右下方的选择数据表，可基于数据表生成SQL。选择数据表，可基于数据表生成SQL。单击输入框上 - [SQL解释](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2110.md): SQL解释入口：单击输入框上方的“SQL解释”单击输入框上方的后再单击“SQL解释”“SQL解释”功能主要是对指定SQL代码进行解释。“SQL解释”功能主要是对指定SQL代码进行解释。以“生成一段合并两张表的语句”生成的SQL语句为例，直接复制SQL生成示例中的SQL语句到输入框，选择一个模型，单击右下角的即可运行。选择模型会对输入的所有 - [SQL改写](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2111.md): SQL改写功能主要是对指定代码按要求进行改写。SQL改写入口：单击输入框上方的后再单击“SQL改写”不输入任何要求的改写以“生成一段合并两张表的语句”生成的SQL语句为例，直接复制SQL生成示例中的SQL语句到输入框，选择一个模型，单击右下角的即可运行。大模型会自己对输入SQL语句进行改写并提供相关改写说明，有的时候会提供多种方案，比如下 - [SQL纠错](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2112.md): SQL纠错功能主要是对指定SQL代码进行纠错和修正。SQL纠错入口：单击输入框上方的后再单击“SQL纠错”以“生成一段合并两张表的语句”生成的SQL语句为例，直接复制SQL生成示例中的SQL语句到输入框，由于源代码是正确的，在内容中随机加入了两个错误单词（SELECT后添加了FROM），选择一个模型，单击右下角的即可运行。大模型指出了SQ - [SQL注释](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2113.md): SQL注释功能主要是对指定SQL代码生成注释。SQL注释入口：单击输入框上方的后再单击“SQL注释”以“生成一段合并两张表的语句”生成的SQL语句为例，直接复制SQL生成示例中的SQL语句到输入框，选择一个模型，单击右下角的即可运行。如下图，生成了一段对于代码进行说明的注释，这部分的注释内容可以放在这段代码之前进行说明，帮助看这段代码的人 - [SQL测试](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2114.md): SQL测试功能主要是对指定SQL代码推荐测试方案。SQL测试入口：单击输入框上方的后再单击“SQL测试”以“生成一段合并两张表的语句”生成的SQL语句为例，直接复制SQL生成中的SQL语句到输入框，选择一个模型，单击右下角的即可运行。大模型会从测试角度分析SQL语句，对SQL进行简单分析、提出潜在问题以及改进建议，包括但不限于性能以及业务 - [DataArts智能助手常用功能](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2115.md): DataArts智能助手其他相关功能如下：：新建对话，同时可以清空当前会话。注意清空后原来的内容会全部清除，谨慎单击。当前版本暂不支持对话历史功能。：关闭DataArts智能助手：配置入口，可以进行模型配置操作。：单击该按钮，系统自动弹出相关快捷功能。或者输入/，也会自动弹出相关快捷功能，跟按钮功能一样。如下图所示。快捷功能：选择数据表， - [插入SQL代码](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2116.md): 把DataArts智能助手生成的代码直接插入开发脚本编辑器中。新建一个开发脚本，选择一个数据表，通过“SQL生成”功能，在数据表中插入三条新数据，单击生成的代码块右上角的“插入”按钮，将新的SQL代码插入开发脚本文件中。当SQL为新增场景，可以使用SQL插入，将SQL插入到光标所在位置。将新的SQL代码插入脚本中。 - [一键复制SQL代码](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2117.md): 一键复制DataArts智能助手生成的代码。以“查询数学成绩大于80分和英语成绩大于90的学生并按语文成绩降序排列”为例，单击生成的代码块右上角的“复制”按钮，代码即可成功复制。 - [快捷代码操作](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2118.md): 目前除了“SQL生成”功能，其他均可直接与开发脚本直接交互。示例一：以“SQL解释”功能为例，选中脚本编辑器里的代码，单击“SQL解释”，可以直接开始对话，大模型会解释选中的代码。示例二：选中脚本编辑器里代码，在对话侧输入相关指令，也能对选中代码进行操作，以“注释代码”为例，大模型生成注释的代码。选中代码之后，开启对话（除了SQL生成）均 - [新建会话](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2119.md): 进入DataArts智能助手后，单击右上角的，可以新建对话，同时会清空当前会话。注意，清空后原来的内容会全部清除，谨慎单击。当前版本暂不支持对话历史功能。目前普通问答（直接对话和内置/自定义模型对话，不使用任何其他SQL相关功能）支持多轮对话，其他功能问答（结合SQL功能的模型对话）均限制为单次对话，且当前版本多轮对话仅支持对最近的10条 - [替换SQL代码](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2120.md): 当SQL为编辑或更新场景，可以使用SQL替换，会打开差异对比器，将原有脚本和替换后脚本进行差异比对。在差异对比器里面，如果有多段SQL进行了修改，可以使用回退一部分修改或更新，不用全部接纳修改。单击“确定”，改写后的SQL会自动替换之前的SQL内容。替换功能主要用于SQL改写、SQL优化、SQL纠错等场景。 - [ASK和Agent两种不同类型与模型结合的使用介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2121.md): ASK选择ASK后，选择大模型，输入问题，进行智能问答。在文本内容中输入@，就会出现数据地图标签，选择所需要的标签。添加标签当DataArts智能助手调用元数据查询工具时，会过滤带有所选标签的结果。该功能增强了DataArts智能助手的上下文感知能力，将复杂的筛选逻辑简化为直观的界面操作，提高工具调用的有效性和结果质量。如果要进行SQL相 - [实时集成作业监控](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2509.md): 实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。实时处理集成作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的连线仅代表业务上的关系，而非任务执行流程，更不是数据流。您可以在作业监控 > 实 - [终端订阅管理](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_2515.md): 系统支持按照责任人配置终端订阅信息（短信、邮件、电话），配置好订阅信息后，通过通知管理功能配置作业通知任务，当作业运行异常或成功时向已配置的责任人发送通知。已开通消息通知服务并配置主题。按照责任人配置订阅信息前，请确保已在工作空间配置了作业告警通知主题。登录DataArts Studio管理控制台。详情请参考访问DataArts Stud - [ModelArts Train](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_4500.md): 通过编排ModelArts Train算子，实现在DataArts Studio中调度ModelArts工作流。已在ModelArts平台中完成工作空间的创建，具体请参考创建工作空间。已在ModelArts平台中完成工作流的创建，具体请参考创建工作流。用户可参考表1和表2配置ModelArts Train节点的参数。 - [开发Python脚本](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_4503.md): 数据开发支持对Python脚本进行在线开发、调试和执行，开发完成的脚本可以在作业中调度运行（请参见开发Pipeline作业）。Python脚本开发的样例教程请参见开发一个Python脚本。已新增Python脚本，请参见新建脚本。已新建主机连接，该Linux主机配有用于执行Python脚本的环境。新建主机连接请参见主机连接参数说明。连接主机 - [Python](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_4504.md): 使用Python节点前，需确认对应主机连接的主机配有用于执行Python脚本的环境。通过Python节点执行Python语句。Python节点的具体使用教程，请参见开发一个Python脚本。Python节点支持脚本参数和作业参数。用户可以参考表1和表2配置Python节点的参数。 - [查看数据质量报告](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_4505.md): 您可以查询业务指标、数据质量中数据对象的质量评分，来判断各个对象是否质量达标。质量报告的数据保留最近90天的结果。查看质量报告包含技术报告和业务报告。技术报告的统计范围是依据质量作业的运行结果，包含数据连接、数据库、表名、评分等信息。业务报告的统计范围是依据数据架构主题关联匹配的质量作业运行的结果，包含主题域、主题域分组、业务对象、表名、 - [DORIS SQL](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_4509.md): 通过Doris SQL节点传递SQL语句到Doris中执行。用户可参考表1和表2配置Doris SQL节点的参数。 - [GBase SQL](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_4519.md): 通过GBase SQL节点传递SQL语句到GBase中执行。用户可参考表1和表2配置GBase SQL节点的参数。 - [常用EL表达式样例合集](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_4803.md): 本章节介绍常用的EL表达式及示例。 - [企业模式简介](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_5099.md): 为方便不同安全管控要求的用户生产数据，DataArts Studio为您提供简单模式和企业模式两种工作空间模式。本文从简单模式工作空间与企业模式工作空间物理形态、对开发行为的影响等多个维度为您介绍两种模式工作空间的区别。目前，仅管理中心和数据开发组件支持企业模式。简单模式下为实现开发和生产环境隔离，需要创建两个工作空间，一个是开发环境工作 - [企业模式业务流程](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_5100.md): 当前DataArts Studio企业模式，主要涉及管理中心和数据开发组件，业务流程由管理员、开发者、部署者、运维者等角色共同完成。管理员：管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。开发者：开发者需要在数据开发的开发环境，进行脚本、作业开发等操作，开发完成后进行测试运行、提交版本，最终提交发 - [管理员操作](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_5101.md): 管理员作为项目负责人或开发责任人，需要为企业模式的环境配置、人员角色等进行统一管控，相关操作如下表所示。管理员操作操作说明准备工作包含数据湖准备以及数据准备与同步。数据湖准备：由于企业模式下需要区分开发环境和生产环境，因此您需要分别准备对应生产环境和开发环境的两套数据湖服务，用于隔离开发和生产环境：对于集群化的数据源（例如MRS、DWS、 - [开发者操作](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_5102.md): 开发者作为任务开发与处理的人员，需要开发脚本、开发作业等，相关操作如下表所示。 - [部署者操作](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_5103.md): 部署者作为管理开发任务上线的人员，需要审批待发布任务，相关操作如下文所示。部署者审批开发者提交的发布任务，审批通过后才能将修改后的作业同步到生产环境。在企业模式中，开发者提交脚本或作业版本后，系统会对应产生发布任务。开发者确认发包后，需要部署者审批通过，才能将修改后的作业同步到生产环境。开发者已完成脚本任务发布或作业任务发布。如有问题，可 - [运维者操作](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_5104.md): 运维者作为运维管理的负责人，需要对生产环境的作业、实例、通知、备份等进行统一管控，相关操作如下表所示。 - [配置DataArts Studio企业模式环境隔离](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_5105.md): 管理中心的环境隔离，当前支持配置DLI队列配置、DB配置和CDM集群配置的开发、生产环境隔离。配置环境隔离后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。创建DLI环境隔离前，应已创建DLI的数据连接。仅Serverless服务（当前即DLI）需要配置环境隔离。登录DataArts Studi - [创建企业模式工作空间](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_5135.md): 若您当前使用简单模式工作空间，但希望使用开发与生产环境隔离机制，您可以将简单模式工作空间升级为企业模式工作空间，如果您之前未使用过简单模式、无需继承业务数据，则可以直接新建企业模式工作空间，本文为您介绍如何创建工作空间模式。只有DAYUAdministrator或Tenant Administrator可升级企业模式或创建企业模式。创建工 - [作业调度支持每月最后一天](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7523.md): 在配置作业调度时，可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天，请参考下面两种方法。在DataArts Studio中配置一个每天调度执行的作业，然后在作业里面新增一个Dummy节点（空节点，不处理实际的业务数据），在Dummy节点与后续执行任务的节点的连线上，您可以配置条件表达式，判断当前是否为每个月的最后一 - [脚本及作业中引用参数使用介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7524.md): 该章节介绍如何在脚本及作业中引用参数，以及引用后的生效范围、是否支持EL表达式和简易变量集等，让您更加清晰地了解工作空间级和脚本、作业级配置参数的使用方法。工作空间环境变量参数、作业参数、脚本参数均可以配置参数，但作用范围不同；另外如果工作空间环境变量参数、作业参数、脚本参数同名冲突，调用的优先级顺序为：作业参数 > 工作空间环境变量参数 - [配置作业调度为年调度](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7564.md): 在配置作业配置调度时，可以选择一年中的某个时间进行调度。如果您需要配置作业的调度时间为年调度，请参考下面的方法进行配置。在DataArts Studio中配置一个按月调度执行的作业，然后在作业里面新增一个Dummy节点（空节点，不处理实际的业务数据），在Dummy节点与后续执行任务的节点的连线上，您可以配置条件表达式，判断当前的调度时间是 - [GBASE连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7575.md): 连接GBASE连接时，相关参数如表1所示。 - [实时集成资源组关联工作空间](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7587.md): 进行实时数据集成任务配置前，您需要将数据集成资源组与将要使用的DataArts Studio工作空间进行关联，以确保在配置实时集成作业时可以选到指定的计算资源组。已购买资源组，详情请参见购买数据集成资源组。详情请参考访问DataArts Studio实例控制台。一个数据集成资源组可以关联到多个DataArts Studio工作空间。 - [授权使用实时数据集成](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7589.md): DataArts Studio提供实时数据同步能力，如果您期望使用该功能，本章节为您介绍相关用户授权的方法，操作流程如下。已购买并配置DataArts Studio实例，并创建了可供使用的工作空间。已创建IAM用户并授权使用DataArts Studio权限，详情请参见创建IAM用户并授予DataArts Studio权限-角色与策略或创 - [实时作业使用前自检](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7621.md): 当您在使用Migration服务创建实时同步任务前，需要预先检查是否做好了准备工作，以满足实时同步任务的环境要求。 - [通过云专线连通网络](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7624.md): 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本章节主要为您介绍数据库部署在本地IDC场景下，通过云专线打通网络的方案。migration资源组为私网网段，不能与数据源网段重叠，否则会导致网络无法打通。migratio - [通过VPN连通网络](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7625.md): 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本章节主要为您介绍数据库部署在本地IDC场景下，通过VPN打通网络的方案。migration资源组为私网网段，不能与数据源网段重叠，否则会导致网络无法打通。migratio - [通过公网连通网络](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7626.md): 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本章节主要为您介绍数据库部署在本地IDC场景下，通过公网打通网络的方案。migration资源组不具有公网网段，只能通过公网NAT转换成固定的弹性公网IP访问公网，且该IP - [通过云专线连通网络](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7628.md): 本章节主要为您介绍数据库部署在其他云厂商场景下，通过云专线打通网络的方案。migration资源组为私网网段，不能与数据源网段重叠，否则会导致网络无法打通。migration资源组不具有公网网段，因此本方案仅能与数据源的私网连通。已购买migration资源组，详情请参见购买数据集成资源组。已购买并配置云专线，与云上的至少一个虚拟私有云V - [通过VPN连通网络](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7629.md): 本章节主要为您介绍数据库部署在其他云厂商场景下的网络打通方案。migration资源组为私网网段，不能与数据源网段重叠，否则会导致网络无法打通。migration资源组不具有公网网段，因此本方案仅能与数据源的私网连通。已购买migration资源组，详情请参见购买数据集成资源组。已购买并配置虚拟专用网络VPN，与云上的至少一个虚拟私有云V - [通过公网连通网络](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7630.md): 本章节主要为您介绍数据库部署在其他云场景下，通过公网打通网络的方案。migration资源组不具有公网网段，只能通过公网NAT转换成固定的弹性公网IP访问公网，且该IP不能与数据源公网IP重复。已购买migration资源组，详情请参见购买数据集成资源组。查询打通网络过程中所涉及到对象的网段（包含数据源、租户VPC、migration资源 - [同Region同租户直接连通网络](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7633.md): 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本章节主要为您介绍数据库部署在华为云，且与Migration资源组同Region同租户场景下的网络打通方案。migration资源组为私网网段，不能与数据源网段重叠，否则会 - [同Region不同租户通过对等连接连通网络](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7634.md): 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本章节主要为您介绍数据库部署在华为云，且与Migration资源组同Region不同租户的场景下，通过对等连接打通网络的方案。migration资源组为私网网段，不能与数据 - [同Region不同租户通过企业路由器连通网络](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7635.md): 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本章节主要为您介绍数据库部署在华为云，且与Migration资源组同Region不同租户场景下，通过企业路由器打通网络的方案。migration资源组为私网网段，不能与数据 - [跨Region通过云连接连通网络](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7636.md): 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本章节主要为您介绍数据库部署在华为云，且与Migration资源组不同Region场景下，通过云连接打通网络的方案。migration资源组为私网网段，不能与数据源网段重叠 - [配置告警规则](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7644.md): 通过设置实时集成作业的告警规则，用户可自定义监控目标与通知策略，及时了解作业状况，从而起到预警作用。设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。实时集成作业已正常运行一段时间（约10分钟），监控数据开始正常上报。一键告警为您提供针对Dat - [动态修改任务配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7645.md): Migration实时集成任务拥有断点续传能力，支持用户通过“暂停 > 恢复”的方式动态加减表、修改任务配置、资源参数等，便于用户根据自身需求调整作业。实时集成作业正在运行中。方式一：登录DataArts Studio控制台实例，进行所用空间的数据开发界面，单击左侧导航栏的“作业监控”，进入“实时集成作业监控界面”，搜索对应的实时集成作业 - [MySQL与MRS Hudi字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7648.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [PostgreSQL与DWS字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7650.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [PostgreSQL与MRS Hudi字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7651.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为PostgreSQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [GaussDB集中式/分布式与DWS字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7652.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为GaussDB，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [性能调优概述](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7654.md): 实时处理集成作业各链路如果出现时延持续增长、反压持续处于高位或同步速率过慢（查看作业监控指标速率不符合实时集成作业提供的性能规格）等情况，需要考虑以下几点：目的端写入过慢。源端抽取过慢。其他问题（请联系技术支持人员协助解决）。因为目的端写入过慢会影响至源端，导致源端抽取速度下降，因此链路速度过慢请优先排查目的端写入速度，在排除目的端因素后 - [作业任务参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7655.md): 实时数据集成服务底层使用Flink流处理框架进行开发，因此包含了Flink系统中最重要的两个部分：JobManager和TaskManager。作业任务配置中调整的处理器核数、并发数、执行内存参数等便是用来调整JobManager和TaskManager的，默认情况下单个作业使用2U8G资源，会对应创建出1个JobManager进程和1个 - [MySQL到MRS Hudi参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7656.md): MySQL抽取优化。可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。可使用的调优参数具体如下：Hudi写入优化。Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。使用Bucket索引：通过在“Hu - [MySQL到DWS参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7657.md): MySQL抽取优化。可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。可使用的调优参数具体如下：DWS写入优化。可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。在分析完监控指标与日志后可以确认调优场景，以下介绍写DWS时针对不同调优场景如何使用参数调优： 降内存 - [MySQL到DMS Kafka参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7658.md): MySQL抽取优化。可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。可使用的调优参数具体如下：Kafka写入优化。Kafka写入通常速率极快，若有阻塞的场景请优先增加并发解决。 - [DMS Kafka到OBS参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7659.md): Kafka抽取优化。可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。可使用的调优参数具体如下：OBS写入优化。若开启了自动合并可尝试关闭，否则请优先增加并发解决。 - [Apache Kafka到MRS Kafka参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7660.md): Kafka抽取优化。可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。可使用的调优参数具体如下：Kafka写入优化。Kafka写入通常速率极快，若有阻塞的场景请优先增加并发解决。 - [SQLServer到MRS Hudi参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7661.md): SQLServer抽取优化。可通过在作业任务配置参数单击中“添加自定义属性”来新增SQLServer同步参数。可使用的调优参数具体如下：Hudi写入优化。Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。使用Bucket索 - [PostgreSQL到DWS参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7662.md): PostgreSQL抽取优化。暂无优化配置项。DWS写入优化。可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 - [Oracle到DWS参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7663.md): Oracle抽取优化。暂无优化配置项。DWS写入优化。可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 - [Oracle到MRS Hudi参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7664.md): Oracle抽取优化。暂无优化配置项。Hudi写入优化。Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。使用Bucket索引：通过在“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中配置index.type和ho - [DRS任务切换到实时Migration作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7667.md): DRS（数据复制服务）任务迁移到Migration，完成作业切换和数据续传。已创建DRS实时同步任务，DRS相关操作请参见数据复制服务。已按使用前自检概览准备好实时数据集成环境。Migration所需资源估算。根据业务实际情况估算DRS作业迁移到Migration后，Migration大概需要多少资源承载新作业，规划作业的拆分和创建。资源 - [MySQL同步到MRS Hudi作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7668.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [数据服务支持的监控指标](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7690.md): 云监控服务（Cloud Eye）可以监控和查看云服务的运行状态、各个指标的使用情况，并对监控项创建告警规则。当您创建了专享版集群并设置了开启CES监控后，云监控服务会自动关联专享版的监控指标，帮助您实时掌握专享版集群的各项性能指标，精确掌握专享版集群的运行情况。本章节描述了专享版上报云监控的监控指标的命名空间、监控指标列表和维度定义。如果 - [设置数据服务告警规则](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7691.md): 通过设置专享版集群告警规则，用户可自定义监控目标与通知策略，及时了解专享版集群运行状况，从而起到预警作用。设置专享版集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置专享版集群告警规则的具体方法。详情请参考访问DataArts Studio实例控制台。更多关于监控告警的信息，请参 - [查看数据服务监控指标](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7692.md): 您通过云监控服务可以对专享版集群的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的专享版集群刚创建完成，请等待5～10分钟后查看监控数据。专享版集群正常运行。重启失败、不可用状态的集群，无法查看其监控指标。当集群再次启 - [场景说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7694.md): 本示例介绍如何通过DataArts Studio的数据服务组件，开发一个用于查询考试成绩的API。期望API具有以下查询能力：查询所有考生的考试成绩。查询特定考生的成绩。查询特定考生是否通过考试。查询通过考试的考生名单。按成绩高低对通过考试的考生名单进行排序。准备工作：提前准备数据库和数据表、准备集群、添加API审核人员。开发API：创建 - [开发API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7696.md): 本章节介绍如何通过数据服务创建、测试、发布查询英语考试信息的API。详情请参考访问DataArts Studio实例控制台。单击左侧导航树中的API目录，再单击“新建API”。单击左侧导航树中的API管理，再单击“新建”。API名称：支持中文、英文、数字、下划线，且只能以英文或中文开头，3-64个字符。本示例以TestScore为例。本示 - [调用API](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7697.md): 不同认证方式的API支持的调用方式也有所不同，详见表1。本示例以SDK调用APP认证方式为例，详细介绍如何通过JAVA SDK调用API。已完成API开发，已通过API审核。已通过应用授权APP认证方式授权API调用。已完成JAVA开发环境搭建，安装Java Development Kit 1.8.111或以上版本，如果未安装，请至Ora - [查看同步日志](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7698.md): Migration实时集成服务底层依托于Flink开发而来，同样对外开放了Flink的JobManager和TaskManager日志，便于用户查看实时同步情况，并通过日志定位或排查异常问题。实时集成作业已正常运行一段时间（约5分钟）。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详 - [MySQL与DWS字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7700.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。源端为MySQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [导入敏感数据](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7701.md): 用户可以通过Excel模板批量导入敏感数据发现结果，简化敏感数据的管理流程，提高数据脱敏的灵活性和效率。已具备“敏感数据分布导入”的相关权限，可前往DataArts Studio实例的角色管理查看和配置。已在管理中心新建数据湖探索（DLI）、 数据仓库服务（DWS）、MapReduce服务（MRS Hive）的数据连接，请参考创建Data - [MySQL同步到DWS作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7703.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [MySQL同步到DMS Kafka作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7704.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [DMS Kafka同步到OBS作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7705.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [Apache Kafka同步到 MRS Kafka作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7706.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [SQLServer同步到MRS Hudi作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7707.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [PostgreSQL同步到DWS作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7708.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [Oracle同步到DWS作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7709.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [Oracle同步到MRS Hudi作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7710.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [授权API调用](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7711.md): 使用APP或IAM认证方式的API，需要将API授权后，才能进行API调用。根据创建API时配置的安全认证方式选择不同的授权API调用方式。APP认证方式的API当前支持应用授权方式，详见通过应用授权APP认证方式API。IAM认证方式的API当前支持应用和白名单两种授权方式。通过IAM类型应用授权，详见通过应用授权IAM认证方式API。 - [MongoDB同步到DWS作业配置（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7733.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考下表。除了数据源版本、连接账号权限及同步对象范围外，您还需要注意的事项请参 - [GaussDB集中式/分布式同步到DWS作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7734.md): GaussDB即GaussDB集中式/分布式数据库，本章节以GaussDB为例。在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改， - [GaussDB集中式/分布式同步到MRS Hudi作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7735.md): GaussDB即GaussDB集中式/分布式数据库，本章节以GaussDB为例。在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改， - [GaussDB集中式/分布式与MRS Hudi字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7737.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为GaussDB，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [SQLServer与DWS字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7738.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为SQLServer，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [SQLServer与Hudi字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7739.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为SQLServer，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [Oracle与MRS Hudi字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7740.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为Oracle，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [SQLServer到DWS参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7741.md): SQLServer抽取优化。暂无优化配置项。DWS写入优化。可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 - [GaussDB集中式/分布式到DWS参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7743.md): GaussDB抽取优化。暂无优化配置项。DWS写入优化。可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 - [GaussDB集中式/分布式到MRS Hudi参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7744.md): GaussDB抽取优化。暂无优化配置项。Hudi写入优化。Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。使用Bucket索引：通过在“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中配置index.type和h - [DMS Kafka到MRS Hudi参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7745.md): Kafka抽取优化。可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。可使用的调优参数具体如下：Hudi写入优化。Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。使用Bucket索引：通过在“Hu - [PostgreSQL到MRS Hudi参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7746.md): PostgreSQL抽取优化。暂无优化配置项。Hudi写入优化。Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。使用Bucket索引：通过在“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中配置index.typ - [Oracle同步到DMS Kafka作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7747.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考下表。除了数据源版本、连接账号权限及同步对象范围外，您还需要注意的事项请参 - [PostgreSQL同步到MRS Hudi作业配置（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7748.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [SQLServer同步到DWS作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7749.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [DMS Kafka同步到Hudi作业配置(公测中)](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7750.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [PostgreSQL同步到DMS Kafka作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7751.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。在使用Migration进行同步时，不同类型的链路，支持的同步对象范围不同，详细情况可参考下表。除了数据源版本、连接账号权限及同步对象范围外，您还需要注意的事项请参 - [GaussDB集中式/分布式同步到DMS Kafka作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7752.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [约束与限制](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7762.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [离线作业使用前自检](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7764.md): 当您在使用Migration创建离线迁移任务前，需要预先检查是否做好了准备工作，以满足离线迁移任务的环境要求。 - [网络打通](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7765.md): CDM集群与待同步数据源可以正常通信。当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时，可保证CDM集群与其他云服务内网互通，无需专门打通网络。当CDM集群与其他云服务所在的区域和VPC一致、但子网或安全组不一致时，需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全 - [Open Gauss数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7766.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [Apache Kafka数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7814.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [通过监控指标分析性能瓶颈](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7815.md): 性能调优的过程中，需充分利用任务的监控信息来分析性能瓶颈。以下为整体思路的介绍。由于全量阶段的数据量较大，需要更高的并发资源。当全量阶段同步速率较低时，请优先通过增加任务并发来解决。全量阶段完成后，可以暂停作业回调资源。如果上述措施对提升同步效率效果不明显，可进一步分析性能瓶颈，详情请参见分析性能瓶颈部分。当增量阶段同步速率慢或时延增加时 - [MySQL同步到Elasticsearch作业配置（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7816.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [PostgreSQL与Doris字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7818.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为PostgreSQL，目的端为Doris时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [Oracle与Doris字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7819.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为Oracle，目的端为Doris时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [Oracle与StarRocks字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7820.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为Oracle，目的端为StarRocks时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [MySQL与Doris字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7821.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为MySQL，目的端为Doris时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [MySQL与ClickHouse字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7822.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为MySQL，目的端为ClickHouse时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [附加字段使用说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7823.md): 用户期望在目的端表中新增一个附加字段，附加字段的值可以来自于源端某个已有字段的转换结果，也可以来源于源端、目的端库表相关的元数据。用户期望通过附加字段覆盖已有同名字段的值（仅部分链路支持）。支持的链路：多数整库作业都支持为目的端表添加附加字段，是否支持附加字段请以使用教程各链路描述为准。支持的链路：多数整库作业都支持为目的端表添加附加字段 - [GaussDB集中式/分布式与Doris字段类型映射](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7824.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为GaussDB，目的端为Doris时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [实时迁移性能实测数据](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7825.md): 数据集成实时链路性能指标仅用于参考，实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。建议您在正式迁移前，先用小数据量实测进行速度验证。Migration资源组配置为64CUs规格（Flink版本为1.15）。在性能测试中，表数据量均为5000万行，其中MySQL和Oracle作为源端时字段长度为14列，Postg - [心跳数据格式介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7826.md): 针对MySQL > Kafka、PostgreSQL > Kafka、GaussDB > Kafka、Oracle > Kafka链路，支持配置将心跳表数据输出至Topic。心跳表数据的输出格式与链路配置的数据格式保持一致，包括Canal-Json和Debezium-Json两种类型，分别如下： 与普通数据格式的主要区别在于新增isHea - [统计信息格式介绍](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7827.md): 统计指标输出为Json字符串，定义如下： - [数据入湖脱敏（高级特性）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7863.md): 通过配置数据入湖脱敏策略，可以实现在数据开发进行Migration算子数据迁移时，对迁移后的敏感数据按照对应脱敏算法脱敏。在新版本模式下仅当使用企业版时，才支持数据入湖脱敏功能，旧版本模式使用基础版及更高版本时即可支持。数据入湖脱敏功能当前在北京四、上海一内测（其他region后续会逐步放开，敬请期待！），但需申请白名单后才能使用。如需使 - [StarRocks数据连接参数说明](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7979.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [MySQL同步到StarRocks作业配置（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7980.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [MySQL同步到Doris作业配置（公测中）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7981.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [PostgreSQL同步到Doris作业配置（公测中）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7982.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [Oracle同步到StarRocks作业配置（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7983.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [Oracle同步到Doris作业配置（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7984.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [DMS Kafka同步到Doris作业配置(内测)](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7985.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [GaussDB集中式/分布式同步到Doris作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7986.md): GaussDB即GaussDB集中式/分布式数据库，本章节以GaussDB为例。在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改， - [PostgreSQL到Doris参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7987.md): PostgreSQL抽取优化。可通过在作业任务配置参数单击中“添加自定义属性”来新增PostgreSQL同步参数。可使用的调优参数具体如下：可通过在Doris的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 - [MySQL到Doris参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7988.md): MySQL抽取优化。可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。可使用的调优参数具体如下：可通过在Doris的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 - [Oracle到Doris参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7989.md): Oracle抽取优化。可通过在作业任务配置参数单击中“添加自定义属性”来新增Oracle同步参数。可使用的调优参数具体如下：可通过在Doris的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 - [DataArts Fabric SQL数据连接参数说明（内测）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7990.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [MySQL同步到LakeFormation作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7991.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考表2进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [心跳表格式](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7992.md): 心跳表必须含有三个字段dlf_job_id、external_job_id和heartbeat，且主键名必须为dlf_job_id。各个数据源对应字段的数据类型如下：MySQLCREATE TABLE `your_db_name`.`your_heartbeat_table_name` ( `dlf_job_id` VARCHAR(1 - [SQLServer与Doris的字段映射关系](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7993.md): Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。当源端为SQLServer，目的端为Doris时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 - [SQLServer到Doris参数调优](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_7994.md): SQLServer抽取优化。可通过在作业任务配置参数单击中“添加自定义属性”来新增SQLServer同步参数。可使用的调优参数具体如下：可通过在Doris的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 - [SQLServer同步到Doris作业配置](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_8992.md): 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任务。不同类型的同步任务，需要的账号权限也不同，详细可参考下表进行赋权。建议创建单独用于Migration任务连接的数据库账号，避免因为数据库账号密码修改，导致的任务连接失败。连接源和目标数据库的账号密码修改后，请同步修改管理中心对应的 - [全局搜索](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_9880.md): 全局搜索功能，支持对当前空间或者全部空间下的脚本或作业进行搜索。同时，可以进行模糊搜索或者精确查找，查询你所需要的作业或脚本。最多显示10000条搜索结果。登录DataArts Studio管理控制台。详情请参考访问DataArts Studio实例控制台。详情请参考访问DataArts Studio实例控制台。在DataArts Stu ## 最佳实践 - [通过CDM节点批量创建分表迁移作业](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0002.md): 业务系统中，数据源往往会采用分表的形式，以减少单表大小，支持复杂的业务应用场景。在这种情况下，通过CDM进行数据集成时，需要针对每张表创建一个数据迁移作业。您可以参考本教程，通过数据开发模块的For Each节点和CDM节点，配合作业参数，实现批量创建分表迁移作业。本教程中，源端MySQL数据库中存在三张分表，分别是mail01、mail - [文件增量迁移](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0004.md): CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。目前CDM支持以下文件增量迁移方式：增量导出指定目录的文件适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。关键配置：文件/路径过滤器 - [关系数据库增量迁移](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0005.md): CDM支持对关系型数据库进行增量迁移，全量迁移完成之后，可以增量迁移指定时间段内的数据（例如每天晚上0点导出前一天新增的数据）。增量迁移指定时间段内的数据适用场景：源端为关系型数据库，目的端没有要求。关键配置：Where子句+定时执行作业。前提条件：数据表中有时间日期字段或时间戳字段。适用场景：源端为关系型数据库，目的端没有要求。关键配置 - [时间宏变量使用解析](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0006.md): 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量：源端的源目录或文件源端的表名通配符过滤类型中的目录过滤器和文件过滤器时间过滤中的起始时间和终止时间分区过滤条件和Where子句目的端的写入目录目的端的表名源端的源目录或文件源端的表名通配符过滤类型中的目录过滤器和文件过滤器时间过滤中的起始时间和终止时间分区过滤条 - [HBase/CloudTable增量迁移](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0007.md): 使用CDM导出HBase（包括MRS HBase、FusionInsight HBase、Apache HBase）或者CloudTable HBase的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现HBase/CloudTable的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁 - [通过数据开发实现数据增量迁移](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0008.md): DataArts Studio服务的数据开发组件提供了一站式的大数据协同开发平台，借助数据开发的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。这里以DWS导入到OBS为例，介绍数据开发配合CDM实现增量迁移的流程：获取CDM作业的JSON修改JSON创建数据开发作业获取CDM作业的JSON修改JSON创建数据开发作业进入 - [事务模式迁移](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0009.md): CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过先导入阶段表参数选择是否启用事务模式。参数原理：如果启用，在作业执行时CDM会自动创建临时表，先将数据导入到该临时表，导入成功后再通过 - [迁移文件时加解密](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0010.md): 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式：AES-256-GCM加密KMS加密AES-256-GCM加密KMS加密目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。源端支持的数据源：HDFS（使用二进制格式传输时支持）。目的端支持的数据 - [MD5校验文件一致性](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0011.md): CDM数据迁移以抽取-写入模式进行，CDM首先从源端抽取数据，然后将数据写入到目的端。在迁移文件到OBS时，迁移模式如图1所示。在这个过程中，CDM支持使用MD5检验文件一致性。抽取时该功能支持源端为OBS、HDFS、FTP、SFTP、HTTP。可校验CDM抽取的文件，是否与源文件一致。该功能由源端作业参数MD5文件名后缀控制（文件格式为 - [字段转换器配置指导](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0012.md): 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。新建字段转换器CDM可以在迁移过程中对 - [指定文件名迁移](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0013.md): 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数源目录或文件支持输入多个文件名（最多50个），文件名之间默认使用|分隔，您也可以自定义文件分隔符，从 - [正则表达式分隔半结构化文本](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0014.md): 在创建表/文件迁移作业时，对简单CSV格式的文件，CDM可以使用字段分隔符进行字段分隔。但是对于一些复杂的半结构化文本，由于字段值也包含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且文件格式必须选择CSV格式。在迁移CSV格式的文件时，CDM支 - [文件格式介绍](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0016.md): 在创建CDM作业时，有些场景下源端、目的端的作业参数中需要选择文件格式，这里分别介绍这几种文件格式的使用场景、子参数、公共参数、使用示例等。CSV格式JSON格式二进制格式文件格式的公共参数文件格式问题解决方法如果想要读取或写入某个CSV文件，请在选择文件格式的时候选择CSV格式。CSV格式的主要有以下使用场景：文件导入到数据库、NoSQ - [记录数据迁移入库时间](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0017.md): CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。已创建连接器源端为关系型数据库，以及目的端数据连接。目的端数据表中已有时间日期字段或时间戳字段。如自动创表场景下，需提前在目的端表中手动创建时间日期字段或时间戳字段。名称：InputTime。 - [新增字段操作指导](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0019.md): 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端文件格式配置为二进制格式（即不解析文件内容直接传输），则没有字段映射这一步骤。其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如 - [不支持数据类型转换规避指导](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0021.md): CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。SQL语句格式为：select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName.tableName; - [MongoDB/DDS增量迁移](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0028.md): 使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。在创建CD - [跨空间进行作业调度](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0101.md): 当您已按照工作空间划分权限，不同空间用户只能操作本空间的作业。但是不同的工作空间之间的作业如果存在依赖关系，可参见本教程操作实现跨空间作业调度。DataArts Studio数据开发模块支持以事件触发的方式运行作业，因此通过DIS或者MRS Kafka作为作业依赖纽带，可以跨空间实现作业调度。如下图，工作空间A中的job1运行完成后，可以 - [IF条件判断教程](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0102.md): 当您在数据开发模块进行作业开发编排时，想要实现通过设置条件，选择不同的执行路径，可使用IF条件判断。本教程包含以下三个常见场景举例。根据前一个节点的执行状态进行IF条件判断根据前一个节点的输出结果进行IF条件判断多IF条件下当前节点的执行策略IF条件的数据来源于EL表达式，通过EL表达式，根据具体的场景选择不同的EL表达式来达到目的。您可 - [For Each节点使用介绍](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0103.md): 当您进行作业开发时，如果某些任务的参数有差异、但处理逻辑全部一致，在这种情况下您可以通过For Each节点避免重复开发作业。For Each节点可指定一个子作业循环执行，并通过数据集对子作业中的参数进行循环替换。关键参数如下：子作业：选择需要循环执行的作业。数据集：即不同子任务的参数值的集合。可以是给定的数据集，如“[['1'],['3 - [获取Rest Client节点返回值教程](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0104.md): Rest Client节点可以执行华为云内的RESTful请求。本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。通过“响应消息体解析为传递参数定义”获取返回值通过EL表达式获取返回值如图1所示，第一个Rest Client调用了MRS服务查询集群列表的API，图2为API返回值的JSON消息体。使用场景：需 - [使用Python脚本连接MRS安全集群执行Impala SQL](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0106.md): pip install krbcontext（版本0.10）pip install kerberos（版本1.3.1）pip install impala命令样例如下：执行pip命令需要查看服务器安装的版本（有可能是pip3），执行如下命令进行查看：which pip在Manager主页下载的客户端软件包，包含了集群内所有服务（除Flum - [天任务依赖分钟任务](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0107.md): 每天07:15执行的天任务作业，依赖于每隔一分钟执行一次的分钟任务作业。天任务依赖所有分钟任务在自然天内的实例， 天任务会在最后一个分钟任务实例执行完成后执行。在数据开发主界面的左侧导航栏，选择数据开发作业开发。在作业目录中，右键单击目录名称，选择新建作业，创建一个批处理的Pipeline作业，分钟作业的名称为job_3417_kk01。 - [基于DataArts Studio实现拉链表](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0109.md): 拉链表是数据仓库设计中用来处理数据变化的一种技术，它允许保存历史数据，记录一个事物从开始到当前状态的所有变化信息，可以反映任意时间点数据的状态。在华为云DataArts Studio中实现拉链表（也称为慢变化维度表）可以通过以下详细步骤进行操作。拉链表通常用于记录维度表中的历史变化，每个记录包含开始和结束时间，以表示该记录的有效时间段。已 - [配置小时调度](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0110.md): 该指导提供配置小时调度的具体操作步骤。用户开发一个批处理的Pipeline作业时，需要配置MRS Hive SQL节点参数，并按照设置的小时周期调度去运行该作业，系统会按照所配置的小时周期调度去生成作业实例，同时您也可以查看作业运行日志信息，方便您对问题进行定位。小时调度包含间隔小时和离散小时两种调度方式，满足了不同用户对小时调度的灵活配 - [配置分钟调度](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0111.md): 该指导提供配置分钟调度的具体操作步骤。用户开发一个批处理的Pipeline作业，需要配置MRS Hive SQL节点参数，并按照分钟调度去运行该作业，并查看作业的运行日志。已在管理中心创建通过代理连接方式的数据连接。数据连接名称为hive_000001。具体操作请参见MRS Hive数据连接参数说明。已创建数据库。数据库名称为defaul - [数据开发运维过程中性能优化（查询性能低下）的解决方案介绍](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0119.md): Hive、Spark等查询性能低下，查询时间过长。索引优化为常用查询字段创建索引。Hive：Hive本身不支持传统的关系数据库索引，但可以使用其他技术来优化查询性能，如使用ORC文件格式的索引功能。Spark：Spark可以通过缓存常用数据集来提高查询性能。示例如下：-- Hive CREATE TABLE my_table ( - [DataArts Studio最佳实践汇总](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0200.md): 本文汇总了数据治理中心（DataArts Studio）服务的常见应用场景，并为每个场景提供详细的方案描述和操作指南，您可以根据本文查看适合您业务的实践教程文档。 - [车联网大数据搬迁入湖简介场景介绍](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0202.md): 为搭建H公司车联网业务集团级的云管理平台，统一管理、部署硬件资源和通用类软件资源，实现IT应用全面服务化、云化，CDM（Cloud Data Migration，简称CDM）助力H公司做到代码“0”改动、数据“0”丢失迁移上云。本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。迁移的 - [迁移准备](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0203.md): CDH HBase的版本号小于或等于MRS HBase的版本号。待迁移的表在迁移过程中不能有写入，Split，Merge等操作。使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。预估迁移数据量、迁移时间。输出详细待迁移数据表、文件个数、大小，用于后续校验。分批配置迁移任务，保证迁移进度与速度。校验文件个数以及文件大小。在MRS - [CDM迁移近一个月的数据](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0204.md): 备HBase集群中约10TB数据，最近一个月新增的数据量约60TB，总共约70TB。H公司安装的云专线为20GE端口，支持CDM超大规格的集群（cdm.xlarge），综合考虑迁移时间、成本、性能等，这里使用2个CDM超大规格集群并行迁移。CDM集群规格如表1所示。其他场景中，可根据情况选择多个CDM集群同时迁移，加快迁移效率。MRS H - [DES迁移一个月前的历史数据](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0205.md): 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。DES将数据快递到华为云数据中心。使用华为云CDM将DES中的数据迁移到华为云OBS。使用华为云CDM将OBS数据迁移到MRS。其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。当迁移动作影 - [MRS中恢复HBase表](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0206.md): CDH HBase表目录已经迁移到MRS HBase后，可以使用命令恢复。对于那些会变化的数据，需要使用快照保证数据不变，然后再迁移并恢复。本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。迁移的目标集群为2.x及之后版本时，HBase修复命令已经不再支持，通过HBase数据目录迁移 - [贸易数据上云场景介绍](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0208.md): 使用云数据迁移（Cloud Data Migration，简称CDM）将本地贸易统计数据导入到OBS，再使用数据湖探索（Data Lake Insight，简称DLI）进行贸易统计分析，帮助H咨询公司以极简、极低成本构建其大数据分析平台，使得该公司更好地聚焦业务，持续创新。H公司是国内一家收集主要贸易国贸易统计及买家数据的商业机构，拥有大 - [操作流程概述](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0209.md): 使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤：使用CDM上传数据到OBS通过CDM将H公司存量数据上传到对象存储服务OBS。通过CDM作业的定时任务，每天自动上传增量数据到OBS。通过CDM将H公司存量数据上传到对象存储服务OBS。通过CDM作业的定时任务，每天自动上传增量数据到OBS。使用DLI分析数据通过DLI - [上传存量数据](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0212.md): 使用华为云专线，搭建用户本地数据中心与华为云VPC之间的专属连接通道。创建OBS桶，并记录OBS的访问域名、端口和AK/SK。创建CDM集群。DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您无需再购买数据集成增量包，可以跳过这部分内容。如果您需要再创建新的CDM集群，请参考购买批量数据迁 - [上传增量数据](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0213.md): 使用CDM将存量数据上传完后，单击该作业后的编辑，直接修改该作业。保持作业基本参数不变，单击下一步修改任务参数，如图1所示。定时任务配置勾选是否定时执行，配置定时任务：重复周期配置为1天。开始时间配置为每天凌晨0点1分执行。这样CDM每天凌晨自动执行全量迁移，但因为重复文件处理方式选择了跳过重复文件，相同名称且相同大小的文件不迁移，所以只 - [分析数据](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0214.md): 通过DLI直接对OBS数据进行贸易统计分析。DLI创建OBS外表，对OBS表数据存储格式有所要求：使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。使用Hive语法创建OBS表时，支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, P - [实时报警平台搭建](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0216.md): 在本实践用户可以了解到如何搭建一个简单的实时报警平台，该平台将应用多个云服务，结合数据开发模块的作业编辑和作业调度功能来实现。假设客户有一个数据中心部署了很多应用，需要建立统一的运维系统，实时接收应用的告警信息。当告警级别达到严重及以上级别时，向用户发送一条消息。每天提供一个运维报表，统计各应用的告警级别数据。为解决以上场景的需求，我们设 - [传统周期调度](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0219.md): 周期调度作业支持设置调度周期符合条件的作业为依赖作业。设置依赖作业的操作详情请参考配置作业调度任务（批处理作业）章节。例如周期调度作业A，可设置其依赖作业为作业B，如图1所示进行配置。则仅当其依赖的作业B在某段时间内所有实例运行完成、且不存在失败实例时，才开始执行作业A。依赖的作业B的“某段时间”，计算方法如下，详见后文设置依赖作业后的作 - [图数据自动化构建与分析场景介绍](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0302.md): 图引擎服务（Graph Engine Service，简称GES）是针对以“关系”为基础的“图”结构数据，进行查询、分析的服务，并广泛应用于社交关系分析、营销推荐、舆情及社会化聆听、信息传播、防欺诈等具有丰富关系数据的场景。在DataArts Studio中，您可以将原始数据表按照GES数据导入要求处理为标准点数据集和边数据集，并通过自动 - [操作环境与数据准备](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0303.md): 如果您是第一次使用DataArts Studio，请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例、创建工作空间等一系列操作。然后进入到对应的工作空间，即可开始使用DataArts Studio。如果您是第一次使用DataArts Studio，请参考购买并配置DataArts S - [创建数据集成作业](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0304.md): 本章节将介绍如何创建DataArts Studio数据集成作业。本例中，需要创建如下三类集成作业：OBS到MySQL迁移作业：为方便演示，需要将OBS中的CSV格式的样例数据导入到MySQL数据库中。MySQL到OBS迁移作业：正式业务流程中，需要将MySQL中的原始样例数据导入OBS中，并标准化为点数据集和边数据集。MySQL到MRS - [开发并调度Import GES作业](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0306.md): 本章节介绍通过数据开发调用数据集成作业，将MySQL原始数据定期同步到OBS和MRS Hive中，并标准化为GES点/边数据集。然后基于标准化点/边数据集，自动生成图的元数据，实现最终将图数据（点数据集、边数据集和元数据）定期导入到GES服务中。假设MySQL中的原始数据表是每日更新的，我们希望每天都能将基于原始数据的最新图数据更新到GE - [分析图数据](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0307.md): 通过GES直接对图数据进行可视化分析。已完成开发并调度Import GES作业，且作业运行成功。进入图引擎服务GES控制台，在“图管理”页面中单击对应图后的“访问”按钮。访问图参考访问图和分析图，对导入的图数据进行可视化分析。本例以图探索功能为例，查看用户William相关的用户与电影情况，如图2所示。分析图数据本例以图探索功能为例，查看 - [DataArts Studio配置数据搬迁简介](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0405.md): 实例内的工作空间包含了完整的功能，工作空间的划分通常按照分子公司（集团、子公司、部门等）、业务领域（采购、生产、销售等）或者实施环境（开发、测试、生产等），没有特定的划分要求。随着业务的不断发展，您可能进行了更细致的工作空间划分。这种情况下，您可以参考本文档，将原有工作空间的数据（包含管理中心数据连接、数据集成连接和作业、数据架构表、数据 - [管理中心配置数据搬迁](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0406.md): 管理中心数据搬迁依赖于管理中心的资源迁移功能。资源导入可以基于OBS服务，也支持从本地导入。支持迁移的资源包含如下业务数据：管理中心组件中创建的数据连接。数据集成组件中创建的CDM作业，包含作业中的CDM连接。数据开发组件中已提交版本的脚本和作业。导出作业时默认只导出作业，不包含其依赖的脚本和资源。数据架构组件中创建的主题、流程、码表、数 - [数据集成配置数据搬迁](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0407.md): 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过CDM组件的导入导出功能进行搬迁。数据集成数据搬迁依赖于CDM的批量导入导出作业功能。CDM上支持导出的数据包括配置的连接和作业，可以导出到本地保存。数据集成中的集群配置、环境变量等数据不支持导入导出，如有需要， - [数据架构配置数据搬迁](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0408.md): 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据，但不包含事实表数据。您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据架构的导入导出功能进行搬迁。数据架构数据搬迁依赖于数据架构的导入导出功能。导入关系建模表、逻辑实体、维度建模维度/事 - [数据开发配置数据搬迁](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0409.md): 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据，但导出作业时默认只导出作业，不包含其依赖的脚本和资源。您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据开发的导入导出功能进行搬迁。数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。已完成管理中心数据搬迁。数据开发中的通知配置、备份管理、 - [数据质量配置数据搬迁](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0410.md): 数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。已完成管理中心数据搬迁。系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。系统支持将自定义的规则模板批量导入，一次最大可导入4MB数据的文件。系统支持将自定义的规则模板批量导入 - [数据目录配置数据搬迁](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0411.md): 数据目录数据搬迁依赖于管理中心的资源迁移功能，详见管理中心配置数据搬迁。当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务，数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。您可以通过导入管理中心和数据架构数据，并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。当前管理中心支持搬迁的数据目录数据包含分类、标签 - [数据安全配置数据搬迁](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0412.md): 当前暂不支持数据安全数据的导入导出，需要您手动同步各项配置数据和任务。数据安全的配置数据，需要您按照旧空间的相关配置，手动在新空间进行重新配置。 - [数据服务配置数据搬迁](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0413.md): 当前管理中心支持直接搬迁数据服务组件中已发布的API数据。您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据服务的导入导出功能进行搬迁。全量导出必须具备DAYU Administrator或Tenant Administrator权限。每个工作空间每分钟仅能全量导出一次，同时只能有一个全量导出任务执行。导入API时，仅专享版 - [通过数据开发使用参数传递灵活调度CDM作业](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0414.md): 如果CDM作业接收来自数据开发作业配置的参数，则在数据开发模块可以使用诸如EL表达式传递动态参数来调度CDM作业。本示例介绍的参数传递功能仅支持CDM 2.8.6版本及以上集群。本示例以执行迁移Oracle数据到MRS Hive的CDM作业为例，介绍通过数据开发使用参数传递功能灵活调度CDM作业。已购买数据集成增量包。不能在CDM迁移作业 - [通过数据质量对比数据迁移前后结果](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0415.md): 数据对账对数据迁移流程中的数据一致性至关重要，数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章以DWS数据迁移到MRS Hive分区表为例，介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。已在数据仓库服务创建DWS集群，确保与DataArts Studio实例网络互通，并且具有KM - [用户授权最小化权限实践](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0416.md): 假设某数据运营工程师专职负责数据质量监控相关工作，且仅需要服务数据质量组件的操作权限。则在为该用户授权时，如果项目管理员直接赋予该数据运营工程师IAM账号“DAYU User系统角色+工作空间开发者角色”权限，则会出现如下非必需权限过大的风险：依赖服务权限过大：服务作为平台型服务，DAYU User系统角色预置了依赖服务（如MRS、DWS - [委托授权最小化权限实践](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0417.md): 在历史版本中，DataArts Studio自动创建的dlg_agency云服务委托，默认包含DWS、MRS、RDS、OBS、SMN、KMS等相关服务的管理员权限。为了避免dlg_agency委托权限过大的风险，当前部分区域已上线委托权限最小化能力，即新创建委托权限优化为相关云服务的最小操作权限，并支持一键对已有委托进行权限最小化优化。在 - [DataArts Studio安全最佳实践](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0418.md): 安全性是华为云与您的共同责任。华为云负责云服务自身的安全，提供安全的云；作为租户，您需要合理使用云服务提供的安全能力对数据进行保护，安全地使用云。详情请参见责任共担。本文提供了DataArts Studio使用过程中的安全最佳实践，旨在为提高整体安全能力提供可操作的规范性指导。根据该指导文档您可以持续评估DataArts Studio的安 - [DataArts Studio数据开发作业告警最佳实践](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0420.md): DataArts Studio数据开发作为大数据调度平台，如果每日频繁调度大量的大数据作业，可能会遇到如下痛点：作业失败无感知：大数据的离线作业大部分会在凌晨执行，当作业失败时，用户无法及时得知并处理。作业补数窗口期较短：上游作业失败重跑过多导致下游核心业务执行时间超过基线，导致影响业务时发现时间太晚，无法及时执行补救措施。为了解决这些痛 - [DataArts Studio数据集成（实时作业）告警最佳实践](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0421.md): 实时数据迁移对数据集成的实时作业在时效性和稳定性方面有较高要求。由于数据源的性能瓶颈或业务量变化，可能会导致作业时延增加，甚至出现作业异常。常见的异常作业及其诱因包括：作业异常终止：可能由数据源集群重启、发现脏数据或其它可能导致作业失败的业务变化引起。作业时延持续上升：可能由源端数据量激增、源端或目标端性能瓶颈，或实时作业资源不足引起。作 - [方案说明](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0431.md): DataArts Studio支持执行shell、python脚本，创建主机连接时，只能指定单个ECS机器，存在单点故障的问题。当前组网结构，ECS存在单点故障的问题，如下图所示。通过工程部署方案，ELB挂载多个ECS机器，满足高可用的能力需求，如下图所示。ELB后端的多个ECS节点，认证方式需要保持一致，即节点SSH的用户名和密码保持一 - [登录ECS控制台，申请两台弹性云服务器，账号密码保持一致](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0434.md): 设置参数的详细说明具体请参见ECS购买方式导航。配置弹性云服务器参数自定义购买时，登录云服务器的用户名和密码信息很重要，请牢记密码。如果忘记密码可登录ECS控制台重置密码。快速购买默认未设置登录凭证，如需远程登录，可创建后通过“重置密码”操作设置密码。 - [设置SSH会话长连接：通过root用户登录ECS，添加配置sshd_config配置项，然后重启服务](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0435.md): 使用SSH方式登录CentOS 6.5操作系统的云服务器时，过一段时间就会自动断开连接。本节操作介绍如何保持SSH会话持续连接不断开。该文档适用于CentOS/EulerOS系统。本章节操作涉及重启sshd服务，会造成sshd断开。编辑/etc/ssh/sshd_config文件设置心跳，保持连接。编辑/etc/ssh/sshd_conf - [登录弹性负载均衡ELB控制台，申请弹性负载均衡，申请的ELB所属VPC和ECS保持一致](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0437.md): 设置参数的详细说明具体请参见购买独享型负载均衡器。申请的ELB所属的VPC和ECS的VPC保持一致。配置弹性负载均衡参数申请的ELB所属的VPC和ECS的VPC保持一致。 - [添加监听器](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0438.md): 推荐选择“使用已有”后端服务器组，您可参考创建后端服务器组进行创建。您也可选择“新创建”后端服务器组，添加后端服务器并配置健康检查，配置后端服务器组参数请参见表2。单击“下一步：添加后端服务器”，添加后端服务器并配置健康检查。添加后端服务器详见后端服务器概述，配置健康检查参数请参见表3。配置后端服务器组参数请参见表2。单击“下一步：添加后 - [创建后端服务器组](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0439.md): 负载均衡实例的监听器绑定后端服务器组后，才能正常转发访问请求。您可通过三种方式为负载均衡实例创建后端服务器组，详见表1。共享型负载均衡器下的后端服务器组仅能被一个监听器使用。进入后端服务器组列表页面。在后端服务器组列表页面，单击页面右上角“创建后端服务器组”按钮。配置后端分配策略，参数详情请参见表2。配置后端分配策略参数说明参数说明负载均 - [配置健康检查策略](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0440.md): 如果您在创建后端服务器组章节，已经配置了健康检查策略，本章节可忽略。本章节指导用户在后端服务器组创建后修改健康检查配置。若切换健康检查协议，负载均衡会根据新的健康检查协议重新检查后端服务器。健康检查通过后，负载均衡向后端服务器继续转发流量。健康检查切换周期内，客户端可能收到503错误码。健康检查协议与服务器组的后端协议是两个相互独立的能力 - [确认配置](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0441.md): 如果您在创建后端服务器组章节，已经确认配置，本章节可忽略。以上添加监听器、创建后端服务器组、配置健康检查策略等章节配置完成后，进行最后的确认配置，确认好已配置的参数后，单击“提交”。 - [将创建好的ECS添加到后端服务器中](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0442.md): 如果当前服务器组协议为TCP，常用取值示例：TCP/80。 - [等待健康检查变为成功，若失败，请检查ELB到ECS的网络连通性](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0443.md): 或者，单击弹性负载均衡的监听器进入，在“基本信息”页签，查看“健康检查”是否正常。 - [在DataArts Studio的管理中心组件上创建主机连接](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0444.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [用例一：两台ECS活跃正常下，进入数据开发，创建shell作业，选择主机连接，测试运行，观察作业是否能正常运行](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0446.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [用例二：对其中一台ECS关机操作，测试运行shell作业，观察作业是否能正常运行](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0447.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [如何查看表行数和库大小](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0559.md): 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情请参考如下操作指导：统计数据表行数统计数据库大小对于不同类型的数据源，DataArts Studio提供了多种方式来查看表的行数。对于DWS、DLI、RDS、MRS Presto、 - [获取SQL节点的输出结果值](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0584.md): 当您在数据开发模块进行作业开发，需要获取SQL节点的输出结果值，并将结果应用于后续作业节点或判断时，可参考本教程获取SQL节点的输出结果。使用EL表达式#{Job.getNodeOutput("前一节点名")}获取的前一节点的输出结果时，输出结果为二维数组形式 ，形如[["Dean",...,"08"],...,["Smith",..., - [补数据场景使用介绍](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0585.md): 在某项目搬迁场景下，当您需要补充以前时间段内的历史业务数据，需要查看历史数据的详细信息时，可以使用补数据特性。补数据是指作业执行一个调度任务，在过去某一段时间里生成一系列的实例。用户可以通过补数据，修正历史中出现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。补数据作业除了支持SQL脚本，其他节点也支持。如果SQL脚本的内容有变 - [数据开发调用数据质量算子并且作业运行的时候需要传入质量参数](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_1583.md): 由于数据质量作业在执行SQL语句时不支持传参，通过数据开发调用数据质量算子，运行的时候可以把数据质量作业的参数传递给数据质量算子作业，实现数据质量的参数传递。数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。创建质量作业在DataArts Studio控制台首页，选择实例，单击进入控制台，选择对应工作空间的数据质量模块，进入数据 - [传统周期调度依赖和自然周期调度依赖对比](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_2220.md): 数据开发当前支持两种调度依赖策略：传统周期调度依赖和自然周期调度依赖。传统周期调度依赖，只支持同周期或者大周期依赖于小周期，不支持小周期依赖于大周期。详细说明如下：同周期依赖，依赖时间段范围为从当前批次时间往前推一个周期。跨周期依赖，依赖时间段范围为上一个周期时间段内。传统周期作业依赖关系全景图自然周期调度依赖，支持同周期、跨周期（大周期 - [自然周期调度](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_2222.md): DataArts Studio支持自然周期的调度方式。通过各个节点的调度依赖配置结果，有序地运行业务流程中各个节点，保障业务数据有效、适时地产出。调度依赖就是节点间的上下游依赖关系，在DataArts Studio中，上游任务节点运行完成且运行成功，下游任务节点才会开始运行。配置调度依赖后，可以保障调度任务在运行时能取到正确的数据（当前节 - [自然周期调度之同周期依赖原理](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_2223.md): 即作业A依赖于作业B的相同调度周期的运行实例。周期单位包括分钟、小时、天、周、月这五种，不同调度周期的作业，其允许配置的依赖作业调度周期总结如图1所示。规则：分钟是最小调度粒度，没有自然分钟周期的概念，依赖策略是往前推一个调度周期找依赖实例。举例1：A依赖B，为同周期分钟作业，在同一时间点，B执行完后开始执行A。举例2：A依赖B，A为15 - [自然周期调度之上一周期依赖原理](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_2224.md): 自然周期调度作业的调度周期包括分钟、小时、天、周、月这五种周期，不同调度周期的作业，其允许配置的依赖作业调度周期总结如图1所示。即作业A的调度依赖于作业B的上一调度周期，包含以下场景：规则：分钟是最小调度粒度，没有自然分钟周期的概念，依赖策略是根据调度周期长的作业，往前推一个调度周期找依赖实例。例如：A依赖B，A和B都是从每小时的0分开始 - [离散小时调度与作业最近依赖调度逻辑](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_2290.md): 数据开发当前支持两种调度依赖策略：传统周期调度依赖和自然周期调度依赖。传统周期调度依赖的详细信息请参见传统周期调度。自然周期调度依赖的详细信息请参见自然周期调度。随着用户业务的演进，自然周期调度中，增加了许多新的调度规则，如离散小时调度，最近依赖调度等。本章节详细讲解这两个调度规则。场景一：离散小时依赖月、周、天 ，或者月、周、天依赖离散 - [作业调度支持每月最后一天](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_7523.md): 在配置作业调度时，可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天，请参考下面两种方法。在DataArts Studio中配置一个每天调度执行的作业，然后在作业里面新增一个Dummy节点（空节点，不处理实际的业务数据），在Dummy节点与后续执行任务的节点的连线上，您可以配置条件表达式，判断当前是否为每个月的最后一 - [企业级权限管理与规范化数据开发](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_7538.md): 针对大型企业在构建企业级数据平台时常面临的权限混乱、开发不规范以及运维困难等问题，不仅影响了数据的安全性，还降低了开发效率。华为云DataArts Studio提供企业级数据治理与开发能力，通过完善的权限管理机制和规范化开发流程，保障数据安全与开发质量。本文档阐述权限管理与规范化开发的核心实践方法。DataArts Studio支持两种工 ## API参考 - [审批通过工单 - AcceptSecurityApplication](https://support.huaweicloud.com/api-dataartsstudio/AcceptSecurityApplication.md): 审批通过工单。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permission - [添加标签 - AddDesignEntityTags](https://support.huaweicloud.com/api-dataartsstudio/AddDesignEntityTags.md): 根据资产（表或属性）的ID给资产打上标签。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design - [标签关联到资产 - AddTagToAsset](https://support.huaweicloud.com/api-dataartsstudio/AddTagToAsset.md): 标签关联到资产请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/tags/{term_guid}/as - [添加工作空间用户 - AddWorkSpaceUsers](https://support.huaweicloud.com/api-dataartsstudio/AddWorkSpaceUsers.md): 添加工作空间用户。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/{workspace_id}/us - [提交表权限申请 - ApplySecurityTableAuthority](https://support.huaweicloud.com/api-dataartsstudio/ApplySecurityTableAuthority.md): 提交表权限申请请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permission - [资产关联分类 - AssociateClassificationToEntity](https://support.huaweicloud.com/api-dataartsstudio/AssociateClassificationToEntity.md): 将一个分类关联到一个或多个指定guid的资产上。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/as - [资产关联密级 - AssociateSecurityLevelToEntitie](https://support.huaweicloud.com/api-dataartsstudio/AssociateSecurityLevelToEntitie.md): 关联资产到密级，资产关联指定密级。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v3/{project_id}/asset/enti - [API授权操作(授权/取消授权/申请/续约) - AuthorizeActionApiToInstance](https://support.huaweicloud.com/api-dataartsstudio/AuthorizeActionApiToInstance.md): API主动授权： API审核人可发起，API主动授权成功后，在有效期内，APP即可访问该API。API授权包含授权和续约两部分功能。授权：授权会给予APP在有效期内访问API的权利。续约：续约会更新授权有效期，仅支持延长有效期，不能减少。API主动授权： API审核人可发起，API主动授权成功后，在有效期内，APP即可访问该API。A - [批量授权API(专享版) - AuthorizeApiToInstance](https://support.huaweicloud.com/api-dataartsstudio/AuthorizeApiToInstance.md): APP创建成功后，还不能访问API，如果想要访问某个API，需要将该API授权给APP。API主动授权成功后，在有效期内，APP即可访问该API。API授权包含授权和续约两部分功能。授权：授权会给予APP在有效期内访问API的权利。授权：授权会给予APP在有效期内访问API的权利。续约：续约会更新授权有效期，仅支持延长有效期，不能减少。续 - [审核申请 - BatchApproveApply](https://support.huaweicloud.com/api-dataartsstudio/BatchApproveApply.md): 审核申请。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/service/applys状态码：204 - [批量审批通过工单 - BatchApproveSecurityApplications](https://support.huaweicloud.com/api-dataartsstudio/BatchApproveSecurityApplications.md): 批量审批通过工单请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/openapi/p - [批量资产关联分类 - BatchAssociateClassificationToEntities](https://support.huaweicloud.com/api-dataartsstudio/BatchAssociateClassificationToEntities.md): 批量资产关联分类：只支持对数据表的列和OBS对象添加分类。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_i - [批量资产关联密级 - BatchAssociateSecurityLevelToEntities](https://support.huaweicloud.com/api-dataartsstudio/BatchAssociateSecurityLevelToEntities.md): 批量资产关联密级：单个密级关联到多个资产上。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v3/{project_id}/asset - [批量关联或取消关联数据集成资源到工作空间 - BatchBindMigrationResourceToWorkspace](https://support.huaweicloud.com/api-dataartsstudio/BatchBindMigrationResourceToWorkspace.md): 批量关联或取消关联数据集成资源到工作空间，通过workspaces中的action字段区分操作类型。action为band表示关联，action为remove表示取消关联。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要 - [批量创建通知规则 - BatchCreateAlarmRules](https://support.huaweicloud.com/api-dataartsstudio/BatchCreateAlarmRules.md): 批量创建通知规则。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/factory/alarm/rul - [转换逻辑模型为物理模型 - BatchCreateDesignTableModelsFromLogic](https://support.huaweicloud.com/api-dataartsstudio/BatchCreateDesignTableModelsFromLogic.md): 转换逻辑模型为物理模型，转换成功则显示转换后的目标模型信息。异常：目标模型信息的“id”等属性为null时，则需要调用《获取操作结果》接口查看具体报错信息：GET https://{endpoint}/v1/{project_id}/design/operation-results?operation_type=TRANSFORM_LOG - [批量添加权限集成员 - BatchCreateSecurityPermissionSetMembers](https://support.huaweicloud.com/api-dataartsstudio/BatchCreateSecurityPermissionSetMembers.md): 批量添加权限集成员请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permissi - [批量添加权限集的权限 - BatchCreateSecurityPermissionSetPermissions](https://support.huaweicloud.com/api-dataartsstudio/BatchCreateSecurityPermissionSetPermissions.md): 批量添加权限集的权限请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permiss - [批量删除通知规则 - BatchDeleteAlarmRules](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteAlarmRules.md): 批量删除通知规则。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/factory/alarm/r - [批量删除对账作业 - BatchDeleteQualityConsistencyTasks](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteQualityConsistencyTasks.md): 批量删除对账作业请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/quality/consistenc - [批量删除质量作业 - BatchDeleteQualityQualityTasks](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteQualityQualityTasks.md): 批量删除质量作业请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/quality/quality-ta - [删除数据分类 - BatchDeleteSecurityDataCategories](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteSecurityDataCategories.md): 删除数据分类。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-categ - [批量删除识别规则接口 - BatchDeleteSecurityDataClassificationRule](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteSecurityDataClassificationRule.md): 批量删除识别规则接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-c - [批量删除动态脱敏策略 - BatchDeleteSecurityDynamicMaskingPolicies](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteSecurityDynamicMaskingPolicies.md): 批量删除动态脱敏策略。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/maskin - [批量删除权限集成员 - BatchDeleteSecurityPermissionSetMembers](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteSecurityPermissionSetMembers.md): 批量删除权限集成员。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permiss - [删除权限集的权限 - BatchDeleteSecurityPermissionSetPermissions](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteSecurityPermissionSetPermissions.md): 删除权限集的权限。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permissi - [批量删除资源权限策略 - BatchDeleteSecurityResourcePermissionPolicies](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteSecurityResourcePermissionPolicies.md): 批量删除资源权限策略请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permiss - [批量删除数据密级 - BatchDeleteSecuritySecrecyLevels](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteSecuritySecrecyLevels.md): 批量删除数据密级。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-cla - [批量删除规则模板 - BatchDeleteTemplates](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteTemplates.md): 批量删除规则模板。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/quality/rule-temp - [删除工作空间 - BatchDeleteWorkspaces](https://support.huaweicloud.com/api-dataartsstudio/BatchDeleteWorkspaces.md): 删除工作空间。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/{instance_id}/works - [批量下线 - BatchOffline](https://support.huaweicloud.com/api-dataartsstudio/BatchOffline.md): 批量下线。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/approvals/batc - [批量发布 - BatchPublish](https://support.huaweicloud.com/api-dataartsstudio/BatchPublish.md): 批量发布。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/approvals/batc - [批量驳回工单 - BatchRejectSecurityApplications](https://support.huaweicloud.com/api-dataartsstudio/BatchRejectSecurityApplications.md): 批量驳回工单请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/openapi/per - [批量停止实例 - BatchStopQualityInstances](https://support.huaweicloud.com/api-dataartsstudio/BatchStopQualityInstances.md): 批量停止实例请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/quality/instances/ba - [元数据实时同步接口(邀测) - BatchSyncMetadata](https://support.huaweicloud.com/api-dataartsstudio/BatchSyncMetadata.md): 元数据实时同步接口，支持批量。该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1 - [批量打标签(邀测) - BatchTag](https://support.huaweicloud.com/api-dataartsstudio/BatchTag.md): 批量给资产打标签接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/datamap/entitie - [批量更新数据开发连接细粒度认证状态 - BatchUpdateSecurityDlfDataWareHouses](https://support.huaweicloud.com/api-dataartsstudio/BatchUpdateSecurityDlfDataWareHouses.md): 批量更新数据开发连接细粒度认证状态。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/ - [批量变更权限有效期 - BatchUpdateSecurityMemberPermissionExpireTime](https://support.huaweicloud.com/api-dataartsstudio/BatchUpdateSecurityMemberPermissionExpireTime.md): 批量变更权限有效期请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/permissio - [修改流程架构 - ChangeCatalog](https://support.huaweicloud.com/api-dataartsstudio/ChangeCatalog.md): 修改流程架构。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/biz/catalogs状 - [规格变更接口 - ChangeResource](https://support.huaweicloud.com/api-dataartsstudio/ChangeResource.md): 规格变更接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策略权限。授权项访问级别资源类型（*为必须）条件键别名依赖的授权项DataArtsStudio:in - [修改或删除主题层级 - ChangeSubjects](https://support.huaweicloud.com/api-dataartsstudio/ChangeSubjects.md): 修改或删除主题层级。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/subject-le - [码表逆向结果查询 - CheckDesignCodeTableStatus](https://support.huaweicloud.com/api-dataartsstudio/CheckDesignCodeTableStatus.md): 码表管理接口码表逆向结果查询请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/code-tables/d - [查看逆向维度表任务 - CheckDimensionStatus](https://support.huaweicloud.com/api-dataartsstudio/CheckDimensionStatus.md): 查看逆向维度表任务。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/dimension/ - [查看逆向事实表任务 - CheckFactLogicTableStatus](https://support.huaweicloud.com/api-dataartsstudio/CheckFactLogicTableStatus.md): 查看逆向事实表任务。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/fact-logic - [组合识别规则测试 - CheckSecurityDataClassificationCombineRule](https://support.huaweicloud.com/api-dataartsstudio/CheckSecurityDataClassificationCombineRule.md): 组合识别规则测试请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-clas - [比较版本信息 - CompareDesignVersions](https://support.huaweicloud.com/api-dataartsstudio/CompareDesignVersions.md): 通过两个版本id，比较两者差异。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/design/ver - [审批单处理 - ConfirmApprovals](https://support.huaweicloud.com/api-dataartsstudio/ConfirmApprovals.md): 审批驳回/通过，单个或多个action-id=reject/resolve。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{p - [处理消息 - ConfirmMessage](https://support.huaweicloud.com/api-dataartsstudio/ConfirmMessage.md): 对收到的通知消息进行确认，可以在指定的时间范围内选择何时进行处理。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{proje - [关系建模统计信息 - CountAllModels](https://support.huaweicloud.com/api-dataartsstudio/CountAllModels.md): 关系建模页面，外层的统计信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/model - [总览统计信息 - CountOverviews](https://support.huaweicloud.com/api-dataartsstudio/CountOverviews.md): 总览统计信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/definitions/s - [标准覆盖率统计信息 - CountStandards](https://support.huaweicloud.com/api-dataartsstudio/CountStandards.md): 查看某个数据标准在所有模型字段中的覆盖率，即使用该标准的字段占总字段的百分比。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{ - [模型统计信息 - CountTableModels](https://support.huaweicloud.com/api-dataartsstudio/CountTableModels.md): 单个模型中的统计信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/table-mod - [随机集群创建作业并执行 - CreateAndStartRandomClusterJob](https://support.huaweicloud.com/api-dataartsstudio/CreateAndStartRandomClusterJob.md): 随机集群创建作业并执行接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1.1/{project_id}/clusters/j - [创建API - CreateApi](https://support.huaweicloud.com/api-dataartsstudio/CreateApi.md): 创建API。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/service/apis状态码：200状 - [创建应用 - CreateApp](https://support.huaweicloud.com/api-dataartsstudio/CreateApp.md): 创建应用。支持创建APP，IAM应用。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/service - [创建审批人 - CreateApprover](https://support.huaweicloud.com/api-dataartsstudio/CreateApprover.md): 创建审批人。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/approvals/use - [创建业务指标 - CreateBizMetric](https://support.huaweicloud.com/api-dataartsstudio/CreateBizMetric.md): 创建业务指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/biz-metrics状 - [创建流程架构 - CreateCatalog](https://support.huaweicloud.com/api-dataartsstudio/CreateCatalog.md): 创建流程架构。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/biz/catalogs - [创建集群 - CreateCluster](https://support.huaweicloud.com/api-dataartsstudio/CreateCluster.md): 创建集群接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1.1/{project_id}/clusters状态码：202创建 - [创建码表 - CreateCodeTable](https://support.huaweicloud.com/api-dataartsstudio/CreateCodeTable.md): 创建码表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/code-tables状态码 - [创建数据连接 - CreateConnections](https://support.huaweicloud.com/api-dataartsstudio/CreateConnections.md): 创建数据连接。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/data-connections状态码 - [新建汇总表 - CreateDesignAggregationLogicTable](https://support.huaweicloud.com/api-dataartsstudio/CreateDesignAggregationLogicTable.md): 根据入参，手动创建汇总表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/aggreg - [新建原子指标 - CreateDesignAtomicIndex](https://support.huaweicloud.com/api-dataartsstudio/CreateDesignAtomicIndex.md): 新建单个原子指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/atomic-ind - [新建复合指标 - CreateDesignCompoundMetric](https://support.huaweicloud.com/api-dataartsstudio/CreateDesignCompoundMetric.md): 根据参数，新建复合指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/compoun - [新建衍生指标 - CreateDesignDerivativeIndex](https://support.huaweicloud.com/api-dataartsstudio/CreateDesignDerivativeIndex.md): 根据参数，新建衍生指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/derivat - [新建维度 - CreateDesignDimension](https://support.huaweicloud.com/api-dataartsstudio/CreateDesignDimension.md): 根据参数新建维度。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/dimensions - [创建目录 - CreateDirectory](https://support.huaweicloud.com/api-dataartsstudio/CreateDirectory.md): 创建目录（数据标准、码表）。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/direc - [创建基线任务 - CreateFactoryBaseline](https://support.huaweicloud.com/api-dataartsstudio/CreateFactoryBaseline.md): 创建基线任务。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/factory/aiops/{inst - [待发布包发布 - CreateFactoryPendingItemsPackage](https://support.huaweicloud.com/api-dataartsstudio/CreateFactoryPendingItemsPackage.md): 待发布包发布请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/factory/pending-item - [指定集群创建作业 - CreateJob](https://support.huaweicloud.com/api-dataartsstudio/CreateJob.md): 指定集群创建作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1.1/{project_id}/clusters/{clu - [创建血缘信息 - CreateLineageInfo](https://support.huaweicloud.com/api-dataartsstudio/CreateLineageInfo.md): 创建血缘信息请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/lineage/lineage-info - [创建连接 - CreateLink](https://support.huaweicloud.com/api-dataartsstudio/CreateLink.md): 创建连接接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1.1/{project_id}/clusters/{cluster - [创建工作空间 - CreateManagerWorkSpace](https://support.huaweicloud.com/api-dataartsstudio/CreateManagerWorkSpace.md): 创建工作空间。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策略权限。授权项访问级别资源类型（*为必须）条件键别名依赖的授权项DataArtsStudio:wo - [添加或修改资产 - CreateOrUpdateAsset](https://support.huaweicloud.com/api-dataartsstudio/CreateOrUpdateAsset.md): 添加或修改资产。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/asset状态码：200OK。状态码 - [创建或修改资产(邀测) - CreateOrUpdateEntities](https://support.huaweicloud.com/api-dataartsstudio/CreateOrUpdateEntities.md): 创建或修改资产，该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{proje - [分配队列资源给指定空间 - CreateSecurityAssignedQueue](https://support.huaweicloud.com/api-dataartsstudio/CreateSecurityAssignedQueue.md): 分配队列资源给指定空间。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permi - [创建数据分类 - CreateSecurityDataCategory](https://support.huaweicloud.com/api-dataartsstudio/CreateSecurityDataCategory.md): 创建数据分类。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-categ - [创建组合识别规则 - CreateSecurityDataClassificationCombineRule](https://support.huaweicloud.com/api-dataartsstudio/CreateSecurityDataClassificationCombineRule.md): 创建组合识别规则请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-clas - [创建识别规则 - CreateSecurityDataClassificationRule](https://support.huaweicloud.com/api-dataartsstudio/CreateSecurityDataClassificationRule.md): 创建识别规则。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-class - [创建规则分组接口 - CreateSecurityDataClassificationRuleGroup](https://support.huaweicloud.com/api-dataartsstudio/CreateSecurityDataClassificationRuleGroup.md): 创建规则分组接口请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-clas - [创建数据脱敏策略 - CreateSecurityDynamicMaskingPolicy](https://support.huaweicloud.com/api-dataartsstudio/CreateSecurityDynamicMaskingPolicy.md): 创建动态数据脱敏策略。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/maskin - [创建权限集 - CreateSecurityPermissionSet](https://support.huaweicloud.com/api-dataartsstudio/CreateSecurityPermissionSet.md): 创建权限集。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permission- - [添加权限集成员 - CreateSecurityPermissionSetMember](https://support.huaweicloud.com/api-dataartsstudio/CreateSecurityPermissionSetMember.md): 添加权限集成员。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permissio - [添加权限集的权限 - CreateSecurityPermissionSetPermission](https://support.huaweicloud.com/api-dataartsstudio/CreateSecurityPermissionSetPermission.md): 添加权限集的权限。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permissi - [创建空间资源权限策略 - CreateSecurityResourcePermissionPolicy](https://support.huaweicloud.com/api-dataartsstudio/CreateSecurityResourcePermissionPolicy.md): 创建空间资源权限策略请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permiss - [创建数据密级 - CreateSecuritySecrecyLevel](https://support.huaweicloud.com/api-dataartsstudio/CreateSecuritySecrecyLevel.md): 创建数据密级。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-class - [创建服务目录 - CreateServiceCatalog](https://support.huaweicloud.com/api-dataartsstudio/CreateServiceCatalog.md): 创建服务目录。根目录编号为0。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/service/ser - [创建数据标准 - CreateStandard](https://support.huaweicloud.com/api-dataartsstudio/CreateStandard.md): 创建数据标准。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/standards状态码 - [创建数据标准模板 - CreateStandardTemplate](https://support.huaweicloud.com/api-dataartsstudio/CreateStandardTemplate.md): 创建当前工作空间下的数据标准模板自定义项。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/desig - [创建主题 - CreateSubject](https://support.huaweicloud.com/api-dataartsstudio/CreateSubject.md): 创建主题。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/subjects状态码：20 - [创建主题(新) - CreateSubjectNew](https://support.huaweicloud.com/api-dataartsstudio/CreateSubjectNew.md): 创建主题(新)。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/design/subjects状态码 - [创建表模型 - CreateTableModel](https://support.huaweicloud.com/api-dataartsstudio/CreateTableModel.md): 在关系建模中创建一个表模型，包括逻辑实体和物理表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/d - [创建采集任务 - CreateTask](https://support.huaweicloud.com/api-dataartsstudio/CreateTask.md): 创建采集任务。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/metadata/tasks/crea - [创建规则模板 - CreateTemplate](https://support.huaweicloud.com/api-dataartsstudio/CreateTemplate.md): 创建规则模板。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/quality/rule-templa - [新建模型工作区 - CreateWorkspace](https://support.huaweicloud.com/api-dataartsstudio/CreateWorkspace.md): 新建模型工作区。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/workspaces状 - [调试API - DebugApi](https://support.huaweicloud.com/api-dataartsstudio/DebugApi.md): 调试API。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/service/apis/{api_id - [测试创建数据连接 - DebugDataconnection](https://support.huaweicloud.com/api-dataartsstudio/DebugDataconnection.md): 测试创建数据连接。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/data-connections/ - [测试数据开发连接细粒度连通性 - DebugSecurityDlfDataWareHouses](https://support.huaweicloud.com/api-dataartsstudio/DebugSecurityDlfDataWareHouses.md): 测试数据开发连接细粒度连通性。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/fg - [驳回工单 - DeclineSecurityApplication](https://support.huaweicloud.com/api-dataartsstudio/DeclineSecurityApplication.md): 驳回工单。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permission-a - [批量删除API - DeleteApi](https://support.huaweicloud.com/api-dataartsstudio/DeleteApi.md): 批量删除API。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/service/apis/batch - [删除应用 - DeleteApp](https://support.huaweicloud.com/api-dataartsstudio/DeleteApp.md): 删除应用。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1/{project_id}/service/apps/{app_i - [删除审批人 - DeleteApprover](https://support.huaweicloud.com/api-dataartsstudio/DeleteApprover.md): 删除审批人。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/approvals/u - [删除资产 - DeleteAsset](https://support.huaweicloud.com/api-dataartsstudio/DeleteAsset.md): 删除资产。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v3/{project_id}/asset/{guid}状态码：200 - [删除业务指标 - DeleteBizMetric](https://support.huaweicloud.com/api-dataartsstudio/DeleteBizMetric.md): 删除业务指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/biz-metric - [删除流程架构 - DeleteCatalog](https://support.huaweicloud.com/api-dataartsstudio/DeleteCatalog.md): 删除流程架构。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/biz/catalo - [移除资产关联的分类 - DeleteClassificationFromEntities](https://support.huaweicloud.com/api-dataartsstudio/DeleteClassificationFromEntities.md): 移除资产关联分类。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v3/{project_id}/asset/entities/gui - [删除集群 - DeleteCluster](https://support.huaweicloud.com/api-dataartsstudio/DeleteCluster.md): 删除集群接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1.1/{project_id}/clusters/{clust - [删除码表 - DeleteCodeTable](https://support.huaweicloud.com/api-dataartsstudio/DeleteCodeTable.md): 删除码表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/code-tables状 - [删除数据连接 - DeleteDataconnection](https://support.huaweicloud.com/api-dataartsstudio/DeleteDataconnection.md): 删除数据连接。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1/{project_id}/data-connections/ - [删除汇总表 - DeleteDesignAggregationLogicTable](https://support.huaweicloud.com/api-dataartsstudio/DeleteDesignAggregationLogicTable.md): 批量删除汇总表，只能删除状态为草稿、已线下、已驳回的表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_ - [删除原子指标 - DeleteDesignAtomicIndex](https://support.huaweicloud.com/api-dataartsstudio/DeleteDesignAtomicIndex.md): 批量删除原子指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/atomic-i - [删除复合指标 - DeleteDesignCompoundMetric](https://support.huaweicloud.com/api-dataartsstudio/DeleteDesignCompoundMetric.md): 根据ID集合删除复合指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/comp - [删除衍生指标 - DeleteDesignDerivativeIndex](https://support.huaweicloud.com/api-dataartsstudio/DeleteDesignDerivativeIndex.md): 根据衍生指标ID，删除衍生指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/d - [删除维度 - DeleteDesignDimension](https://support.huaweicloud.com/api-dataartsstudio/DeleteDesignDimension.md): 根据传入的维度ID，删除维度。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/di - [删除维度表 - DeleteDesignDimensionLogicTable](https://support.huaweicloud.com/api-dataartsstudio/DeleteDesignDimensionLogicTable.md): 根据维度表ID，删除维度表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/dim - [删除事实表 - DeleteDesignFactLogicTable](https://support.huaweicloud.com/api-dataartsstudio/DeleteDesignFactLogicTable.md): 根据ID集合删除事实表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/fact- - [删除实体下展 - DeleteDesignLatestApproval](https://support.huaweicloud.com/api-dataartsstudio/DeleteDesignLatestApproval.md): 当已发布的实体被编辑时，其会生成下展，该接口用于删除实体的下展信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{pr - [删除目录 - DeleteDirectory](https://support.huaweicloud.com/api-dataartsstudio/DeleteDirectory.md): 删除目录（数据标准、码表）。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/dir - [删除资产(邀测) - DeleteEntity](https://support.huaweicloud.com/api-dataartsstudio/DeleteEntity.md): 根据guid删除资产。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1/{project_id}/datamap/entit - [删除基线任务 - DeleteFactoryBaseline](https://support.huaweicloud.com/api-dataartsstudio/DeleteFactoryBaseline.md): 删除基线任务。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/factory/aiops/{in - [删除作业 - DeleteJob](https://support.huaweicloud.com/api-dataartsstudio/DeleteJob.md): 删除作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1.1/{project_id}/clusters/{clust - [删除连接 - DeleteLink](https://support.huaweicloud.com/api-dataartsstudio/DeleteLink.md): 删除连接接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1.1/{project_id}/clusters/{clust - [删除当前空间下分配的队列资源 - DeleteSecurityAssignedQueue](https://support.huaweicloud.com/api-dataartsstudio/DeleteSecurityAssignedQueue.md): 删除当前空间下分配的队列资源。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1/{project_id}/security/ - [删除识别规则 - DeleteSecurityDataClassificationRule](https://support.huaweicloud.com/api-dataartsstudio/DeleteSecurityDataClassificationRule.md): 删除识别规则。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1/{project_id}/security/data-cla - [删除规则分组接口 - DeleteSecurityDataClassificationRuleGroup](https://support.huaweicloud.com/api-dataartsstudio/DeleteSecurityDataClassificationRuleGroup.md): 删除规则分组接口请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-clas - [移除资产关联密级 - DeleteSecurityLevelFromEntity](https://support.huaweicloud.com/api-dataartsstudio/DeleteSecurityLevelFromEntity.md): 移除资产关联密级。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v3/{project_id}/asset/entities/ - [删除权限集 - DeleteSecurityPermissionSet](https://support.huaweicloud.com/api-dataartsstudio/DeleteSecurityPermissionSet.md): 删除权限集。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1/{project_id}/security/permissio - [删除指定的id的数据密级 - DeleteSecuritySecrecyLevel](https://support.huaweicloud.com/api-dataartsstudio/DeleteSecuritySecrecyLevel.md): 删除指定的id的数据密级。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v1/{project_id}/security/da - [批量删除目录 - DeleteServiceCatalog](https://support.huaweicloud.com/api-dataartsstudio/DeleteServiceCatalog.md): 批量删除服务目录。删除目录的同时会删除其下的所有子目录，不支持删除带有API的目录。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST / - [删除数据标准 - DeleteStandard](https://support.huaweicloud.com/api-dataartsstudio/DeleteStandard.md): 删除数据标准。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/standards状 - [删除数据标准模板 - DeleteStandardTemplate](https://support.huaweicloud.com/api-dataartsstudio/DeleteStandardTemplate.md): 删除数据标准模板。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/standard - [删除主题 - DeleteSubject](https://support.huaweicloud.com/api-dataartsstudio/DeleteSubject.md): 删除主题。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/subjects状态码： - [删除主题(新) - DeleteSubjectNew](https://support.huaweicloud.com/api-dataartsstudio/DeleteSubjectNew.md): 删除主题(新)。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v3/{project_id}/design/subjects状 - [删除表模型 - DeleteTableModel](https://support.huaweicloud.com/api-dataartsstudio/DeleteTableModel.md): 在关系建模中删除一个表模型及其属性，包括逻辑实体和物理表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project - [删除单个采集任务 - DeleteTaskInfo](https://support.huaweicloud.com/api-dataartsstudio/DeleteTaskInfo.md): 删除单个采集任务。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v3/{project_id}/metadata/tasks/ - [删除模型工作区 - DeleteWorkspaces](https://support.huaweicloud.com/api-dataartsstudio/DeleteWorkspaces.md): 删除模型工作区。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/workspace - [删除工作空间用户 - DeleteWorkspaceusers](https://support.huaweicloud.com/api-dataartsstudio/DeleteWorkspaceusers.md): 删除工作空间用户。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/{workspace_id}/de - [API操作(下线/停用/恢复) - ExecuteApiToInstance](https://support.huaweicloud.com/api-dataartsstudio/ExecuteApiToInstance.md): 下线API。将已发布的API下线。下线后，所有授权关系都会被解除，API将无法再被调用。下线API。将已发布的API下线。下线后，所有授权关系都会被解除，API将无法再被调用。停用API。将已发布的API临时下线。下线后，授权关系会保留，停用期间API将无法再被调用。停用API。将已发布的API临时下线。下线后，授权关系会保留，停用期间A - [码表逆向 - ExecuteReverseDesignCodeTable](https://support.huaweicloud.com/api-dataartsstudio/ExecuteReverseDesignCodeTable.md): 码表管理接口码表逆向请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/code-tables/data - [执行数据安全诊断 - ExecuteSecurityDiagnose](https://support.huaweicloud.com/api-dataartsstudio/ExecuteSecurityDiagnose.md): 执行数据安全诊断。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/diagnose - [启动、调度、停止采集任务 - ExecuteTaskAction](https://support.huaweicloud.com/api-dataartsstudio/ExecuteTaskAction.md): 启动、调度、停止采集任务。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/metadata/task - [导出包含API信息的EXCEL文件 - ExportDataServiceExcel](https://support.huaweicloud.com/api-dataartsstudio/ExportDataServiceExcel.md): 导出包含API信息的EXCEL文件。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/service/ - [下载EXCEL模板 - ExportDataServiceExcelTemplate](https://support.huaweicloud.com/api-dataartsstudio/ExportDataServiceExcelTemplate.md): 下载EXCEL模板。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/export/ex - [全量导出包含API的EXCEL压缩文件 - ExportDataServiceZip](https://support.huaweicloud.com/api-dataartsstudio/ExportDataServiceZip.md): 全量导出包含API的EXCEL压缩文件。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/servic - [导出模型中表的DDL语句 - ExportDesignModelTableDdl](https://support.huaweicloud.com/api-dataartsstudio/ExportDesignModelTableDdl.md): 根据模型ID导出指定表的DDL语句。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/wo - [导出业务数据 - ExportDesignModels](https://support.huaweicloud.com/api-dataartsstudio/ExportDesignModels.md): 根据请求参数，导出业务数据，可以导出：码表、数据标准、原子指标、衍生指标、复合指标、汇总表、业务指标、主题、流程、逻辑模型、物理模型、维度、事实表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如 - [获取excel导出结果 - ExportDesignResult](https://support.huaweicloud.com/api-dataartsstudio/ExportDesignResult.md): 根据请求导出业务数据（/export-model）时返回的uuid，获取excel导出结果。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GE - [冻结工作空间 - FreezeWorkspace](https://support.huaweicloud.com/api-dataartsstudio/FreezeWorkspace.md): 冻结工作空间。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/{instance_id}/works - [获取质量报告业务报告数据 - GetQualityReportBusinessScores](https://support.huaweicloud.com/api-dataartsstudio/GetQualityReportBusinessScores.md): 获取质量报告业务报告数据。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/report - [获取质量报告概览 - GetQualityReportOverview](https://support.huaweicloud.com/api-dataartsstudio/GetQualityReportOverview.md): 获取质量报告概览。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/report/ove - [获取质量报告规则评分 - GetQualityReportRules](https://support.huaweicloud.com/api-dataartsstudio/GetQualityReportRules.md): 获取质量报告规则评分。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/report/r - [获取质量报告评分体系 - GetQualityReportScoring](https://support.huaweicloud.com/api-dataartsstudio/GetQualityReportScoring.md): 获取质量报告评分体系。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/report/s - [获取质量报告子规则字段评分 - GetQualityReportSubRuleResults](https://support.huaweicloud.com/api-dataartsstudio/GetQualityReportSubRuleResults.md): 获取质量报告子规则字段评分。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/repor - [获取质量报告技术报告数据 - GetQualityReportTechnologyScores](https://support.huaweicloud.com/api-dataartsstudio/GetQualityReportTechnologyScores.md): 获取质量报告技术报告数据。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/report - [获取质量报告趋势 - GetQualityReportTrend](https://support.huaweicloud.com/api-dataartsstudio/GetQualityReportTrend.md): 获取质量报告趋势。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/report/tre - [下载资源任务文件 - GetQualityResourceDownload](https://support.huaweicloud.com/api-dataartsstudio/GetQualityResourceDownload.md): 该接口用于下载资源文件。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/resourc - [获取导入导出的任务状态 - GetQualityResourceStatus](https://support.huaweicloud.com/api-dataartsstudio/GetQualityResourceStatus.md): 该接口用于获取导出导入任务的进度状态。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/ - [导入主题 - ImportCatalogs](https://support.huaweicloud.com/api-dataartsstudio/ImportCatalogs.md): 用于导入主题。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/catalogs/act - [导入血缘(邀测) - ImportDataMapLineage](https://support.huaweicloud.com/api-dataartsstudio/ImportDataMapLineage.md): 血缘导入接口，一次性获取所有作业算子的血缘。该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。P - [导入包含API信息的EXCEL文件 - ImportDataServiceExcel](https://support.huaweicloud.com/api-dataartsstudio/ImportDataServiceExcel.md): 导入包含API信息的EXCEL文件。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/service/ - [血缘导入 - ImportLineage](https://support.huaweicloud.com/api-dataartsstudio/ImportLineage.md): 血缘查询。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/lineage/import状态码：200 - [导入模型，关系建模，维度建模，码表，业务指标以及流程架构 - ImportModels](https://support.huaweicloud.com/api-dataartsstudio/ImportModels.md): 导入模型，关系建模，维度建模，码表，业务指标以及流程架构。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_i - [查询导入结果 - ImportResult](https://support.huaweicloud.com/api-dataartsstudio/ImportResult.md): 查询导入excel的处理结果（其中参数uuid获取为：/design/models/action或/design/catalogs/action接口返回结果）。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限 - [导入预置分类 - ImportSecurityBuiltinCategoryGroups](https://support.huaweicloud.com/api-dataartsstudio/ImportSecurityBuiltinCategoryGroups.md): 导入预置分类。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/data-categ - [初始化数据标准模板 - InitializeStandardTemplate](https://support.huaweicloud.com/api-dataartsstudio/InitializeStandardTemplate.md): 初始化数据标准模板。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/design/standards - [查找汇总表 - ListAggregationLogicTables](https://support.huaweicloud.com/api-dataartsstudio/ListAggregationLogicTables.md): 通过中英文名称、创建者、审核人、状态、修改时间分页查找汇总表信息，中英文名称支持模糊查询。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET - [获取当前目录下的所有类型列表 - ListAllCatalogList](https://support.huaweicloud.com/api-dataartsstudio/ListAllCatalogList.md): 获取当前目录下所有类型列表（包括API和目录，均以目录的数据格式形式展示）。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{p - [获取数据标准集合 - ListAllStandards](https://support.huaweicloud.com/api-dataartsstudio/ListAllStandards.md): 根据查询条件分页获取数据标准集合，按修改时间降序排序。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/ - [查询多种类型的表信息 - ListAllTables](https://support.huaweicloud.com/api-dataartsstudio/ListAllTables.md): 从信息架构中查询多种类型的表信息，包括逻辑实体、物理表、维度表、事实表、汇总表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/ - [获取当前目录下的API列表 - ListApiCatalogList](https://support.huaweicloud.com/api-dataartsstudio/ListApiCatalogList.md): 获取当前目录下的API列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/servi - [查询指定API应用调用TopN - ListApiTopN](https://support.huaweicloud.com/api-dataartsstudio/ListApiTopN.md): 查询指定API应用调用TopN。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/sta - [获取网关分组 - ListApicGroups](https://support.huaweicloud.com/api-dataartsstudio/ListApicGroups.md): 获取网关分组。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/apigw/instan - [获取网关实例(专享版) - ListApicInstances](https://support.huaweicloud.com/api-dataartsstudio/ListApicInstances.md): 获取网关实例(专享版)。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/apigw/i - [查询API列表 - ListApis](https://support.huaweicloud.com/api-dataartsstudio/ListApis.md): 查询API列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/apis状态码：200 - [查询API服务调用TopN - ListApisTop](https://support.huaweicloud.com/api-dataartsstudio/ListApisTop.md): 查询API服务调用TopN。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/stati - [查询申请列表 - ListApply](https://support.huaweicloud.com/api-dataartsstudio/ListApply.md): 查询申请列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/applys状态码：20 - [查询审批人列表 - ListApprovers](https://support.huaweicloud.com/api-dataartsstudio/ListApprovers.md): 查询审批人列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/approvals/us - [查询应用列表 - ListApps](https://support.huaweicloud.com/api-dataartsstudio/ListApps.md): 查询应用列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/apps状态码：200状 - [查询APP服务使用TopN - ListAppsTop](https://support.huaweicloud.com/api-dataartsstudio/ListAppsTop.md): 查询APP服务使用TopN。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/stati - [查看指标维度信息 - ListBizMetricDimensions](https://support.huaweicloud.com/api-dataartsstudio/ListBizMetricDimensions.md): 查看指标维度信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/biz-metrics - [查看指标责任人信息 - ListBizMetricOwners](https://support.huaweicloud.com/api-dataartsstudio/ListBizMetricOwners.md): 查看指标责任人信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/biz-metric - [查询业务指标信息 - ListBizMetrics](https://support.huaweicloud.com/api-dataartsstudio/ListBizMetrics.md): 通过名称、创建者、修改时间分页查找业务指标信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/des - [获取主题树信息 - ListBusiness](https://support.huaweicloud.com/api-dataartsstudio/ListBusiness.md): 获取数据资产主题树信息l1，l2，l3。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/ - [获取当前目录下的目录列表（全量） - ListCatalogList](https://support.huaweicloud.com/api-dataartsstudio/ListCatalogList.md): 获取当前目录下的目录列表（全量数据，不分页，推荐仅用于生成目录树等无法分页的场景）。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v - [获取所有流程架构目录树 - ListCatalogTree](https://support.huaweicloud.com/api-dataartsstudio/ListCatalogTree.md): 获取所有目录树。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/biz/catalogs - [空间资产目录树(邀测) - ListCategoriesTree](https://support.huaweicloud.com/api-dataartsstudio/ListCategoriesTree.md): 获取某空间下资产目录树信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/datamap/categ - [获取作业目录 - ListCategory](https://support.huaweicloud.com/api-dataartsstudio/ListCategory.md): 获取作业目录。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/categories状态 - [查询集群列表 - ListClusters](https://support.huaweicloud.com/api-dataartsstudio/ListClusters.md): 查询集群列表接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/clusters状态码：200状 - [获取数据源中表的字段 - ListColumns_offline](https://support.huaweicloud.com/api-dataartsstudio/ListColumns_offline.md): 获取数据源中表的字段。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/{connection_id}/ - [查找复合指标 - ListCompoundMetrics](https://support.huaweicloud.com/api-dataartsstudio/ListCompoundMetrics.md): 通过中英文名称、创建者、审核人、状态、修改时间、l3Id分页查找复合指标信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{ - [查找业务限定 - ListCondition](https://support.huaweicloud.com/api-dataartsstudio/ListCondition.md): 通过中英文名称、描述、创建者、审核人、限定分组id、修改时间状态分页查找限定信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2 - [获取对账作业列表 - ListConsistencyTask](https://support.huaweicloud.com/api-dataartsstudio/ListConsistencyTask.md): 获取对账作业列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/consistenc - [获取实例列表 - ListDataArtsStudioInstances](https://support.huaweicloud.com/api-dataartsstudio/ListDataArtsStudioInstances.md): 获取实例列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策略权限。授权项访问级别资源类型（*为必须）条件键别名依赖的授权项DataArtsStudio:in - [获取审批人列表 - ListDataServiceApprovers](https://support.huaweicloud.com/api-dataartsstudio/ListDataServiceApprovers.md): 获取审批人列表请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/authorizeapp - [查询数据服务集群访问日志列表 - ListDataServiceInstanceAccesslogs](https://support.huaweicloud.com/api-dataartsstudio/ListDataServiceInstanceAccesslogs.md): 查询数据服务集群访问日志列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/inst - [查询集群详情信息列表 - ListDataServiceInstancesDetail](https://support.huaweicloud.com/api-dataartsstudio/ListDataServiceInstancesDetail.md): 查询集群详情信息列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/instance - [查询集群概览信息列表 - ListDataServiceInstancesOverview](https://support.huaweicloud.com/api-dataartsstudio/ListDataServiceInstancesOverview.md): 查询集群概览信息列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/instance - [查询服务目录API列表 - ListDataServiceMarketApis](https://support.huaweicloud.com/api-dataartsstudio/ListDataServiceMarketApis.md): 查询服务目录API列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/service/market - [获取数据源中的表 - ListDataTables_offline](https://support.huaweicloud.com/api-dataartsstudio/ListDataTables_offline.md): 获取数据源中的表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/{connection_id}/da - [获取数据库列表 - ListDatabases_offline](https://support.huaweicloud.com/api-dataartsstudio/ListDatabases_offline.md): 获取数据库列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/{connection_id}/dat - [查询数据连接列表 - ListDataconnections](https://support.huaweicloud.com/api-dataartsstudio/ListDataconnections.md): 查询数据连接列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/data-connections状态 - [查找衍生指标 - ListDerivativeIndexes](https://support.huaweicloud.com/api-dataartsstudio/ListDerivativeIndexes.md): 通过中英文名称、创建者、审核人、状态、修改时间、l3Id分页查找衍生指标信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{ - [获取数仓分层信息 - ListDesignDataLayers](https://support.huaweicloud.com/api-dataartsstudio/ListDesignDataLayers.md): 获取数仓分层信息请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/design/data-layers状 - [查看维度颗粒度 - ListDimensionGroups](https://support.huaweicloud.com/api-dataartsstudio/ListDimensionGroups.md): 查询维度颗粒度，依据tableId查询涉及所有维度，不传tableId查询所有维度组颗粒度。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GE - [查找维度表 - ListDimensionLogicTables](https://support.huaweicloud.com/api-dataartsstudio/ListDimensionLogicTables.md): 通过中英文名称、创建者、审核人、状态、修改时间分页查找维度表信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{projec - [查找维度 - ListDimensions](https://support.huaweicloud.com/api-dataartsstudio/ListDimensions.md): 通过中英文名称、描述、创建者、审核人、状态、l3Id、衍生指标idList、修改时间分页查找维度信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略 - [获取所有目录 - ListDirectories](https://support.huaweicloud.com/api-dataartsstudio/ListDirectories.md): 获取所有目录(数据标准、码表)。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/dire - [批量获取资产信息(邀测) - ListEntityDetails](https://support.huaweicloud.com/api-dataartsstudio/ListEntityDetails.md): 批量获取资产信息列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/datamap/entitie - [查找事实表 - ListFactLogicTables](https://support.huaweicloud.com/api-dataartsstudio/ListFactLogicTables.md): 通过中英文名称、创建者、审核人、状态、修改时间分页查找事实表信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{projec - [查询通知规则列表 - ListFactoryAlarmRules](https://support.huaweicloud.com/api-dataartsstudio/ListFactoryAlarmRules.md): 查询通知规则列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/alarm/rule - [查询作业列表 - ListFactoryJobs](https://support.huaweicloud.com/api-dataartsstudio/ListFactoryJobs.md): 查询作业列表清单请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/jobs无状态码：20 - [查询待发布包列表 - ListFactoryPendingItems](https://support.huaweicloud.com/api-dataartsstudio/ListFactoryPendingItems.md): 查询待发布包列表请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/pending-ite - [查询脚本列表 - ListFactoryScripts](https://support.huaweicloud.com/api-dataartsstudio/ListFactoryScripts.md): 此接口用来查询脚本列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/scripts - [查询基线实例列表 - ListFactorySearchBaselineInstances](https://support.huaweicloud.com/api-dataartsstudio/ListFactorySearchBaselineInstances.md): 查询基线实例列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/aiops/{ins - [查询审批中心列表 - ListFactoryWorkspacesApproval](https://support.huaweicloud.com/api-dataartsstudio/ListFactoryWorkspacesApproval.md): 查询审批中心列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/workspaces - [查看API不同操作对应的实例信息(专享版) - ListInstanceList](https://support.huaweicloud.com/api-dataartsstudio/ListInstanceList.md): 查看API不同操作对应的实例信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/ap - [获取任务执行结果列表 - ListInstances](https://support.huaweicloud.com/api-dataartsstudio/ListInstances.md): 获取任务执行结果列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/instance - [查询作业的输入输出表 - ListJobInputOutputTables](https://support.huaweicloud.com/api-dataartsstudio/ListJobInputOutputTables.md): 根据作业ID查询该作业解析的输入表和输出表，用于数据治理场景，判断作业是否可以下线。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v - [获取目录下逻辑实体(邀测) - ListLogicEntities](https://support.huaweicloud.com/api-dataartsstudio/ListLogicEntities.md): 获取主题目录下逻辑实体信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/datamap/logic - [获取工作空间列表 - ListManagerWorkSpaces](https://support.huaweicloud.com/api-dataartsstudio/ListManagerWorkSpaces.md): 获取工作空间列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策略权限。授权项访问级别资源类型（*为必须）条件键别名依赖的授权项DataArtsStudio: - [查询消息列表 - ListMessage](https://support.huaweicloud.com/api-dataartsstudio/ListMessage.md): 查询审核中心的通知消息列表。与申请不同，通知类消息，无法驳回，仅能在指定的时间范围内作出处理。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。G - [获取指标关联信息 - ListMetricRelations](https://support.huaweicloud.com/api-dataartsstudio/ListMetricRelations.md): 获取当前指标图谱。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/metric-rela - [获取质量作业列表 - ListQualityTask](https://support.huaweicloud.com/api-dataartsstudio/ListQualityTask.md): 获取质量作业列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/quality-ta - [获取质量作业列表V1 - ListQualityTaskLists](https://support.huaweicloud.com/api-dataartsstudio/ListQualityTaskLists.md): 批量查询数据质量作业，返回质量作业列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/quality - [获取规则模板列表 - ListQualityTemplates](https://support.huaweicloud.com/api-dataartsstudio/ListQualityTemplates.md): 分页获取规则模板列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/rule-tem - [查询关系 - ListRelations](https://support.huaweicloud.com/api-dataartsstudio/ListRelations.md): 通过关系名称(支持模糊查询)、创建人、开始时间、结束时间等分页查找关系信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{p - [获取schemas - ListSchemas_offline](https://support.huaweicloud.com/api-dataartsstudio/ListSchemas_offline.md): 获取schemas，目前只有DWS和采用postgresql驱动的RDS数据源支持schema，请在调用前确认该数据源是否支持schema字段。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使 - [查询基线任务列表 - ListSearchFactoryBaselines](https://support.huaweicloud.com/api-dataartsstudio/ListSearchFactoryBaselines.md): 查询基线任务列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/aiops/{ins - [查询事件列表 - ListSearchFactoryEvents](https://support.huaweicloud.com/api-dataartsstudio/ListSearchFactoryEvents.md): 查询事件列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/aiops/{insta - [获取审批工单列表 - ListSecurityApprovals](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityApprovals.md): 获取审批工单列表请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/openapi/pe - [查询当前空间下分配的队列资源 - ListSecurityAssignedQueues](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityAssignedQueues.md): 查询当前空间下分配的队列资源。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/per - [查询数据分类列表 - ListSecurityDataCategories](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityDataCategories.md): 查询数据分类列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/data-cate - [查询规则组列表 - ListSecurityDataClassificationRuleGroups](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityDataClassificationRuleGroups.md): 查询规则组列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/data-class - [查询识别规则列表 - ListSecurityDataClassificationRules](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityDataClassificationRules.md): 查询识别规则列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/data-clas - [查询数据操作信息 - ListSecurityDatasourceActions](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityDatasourceActions.md): 查询数据操作信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/permissio - [查询数据源可配置权限 - ListSecurityDatasourceConfigurations](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityDatasourceConfigurations.md): 查询数据源可配置权限。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/permiss - [查询权限集中配置的url信息 - ListSecurityDatasourceUrls](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityDatasourceUrls.md): 查询权限集中配置的url信息，例如obs、hdfs等组件中的url路径。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{pro - [查询数据开发细粒度连接列表 - ListSecurityDlfDataWareHouses](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityDlfDataWareHouses.md): 查询数据开发细粒度连接列表（全量）。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/ - [查询动态数据脱敏策略列表 - ListSecurityDynamicMaskingPolicies](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityDynamicMaskingPolicies.md): 查询动态数据脱敏策略列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/maski - [查询我的权限 - ListSecurityMemberPermissions](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityMemberPermissions.md): 查询我的权限、空间账号权限请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/permi - [查询用户同步列表 - ListSecurityMemberSyncTasks](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityMemberSyncTasks.md): 查询用户同步列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/member-sy - [查询用户表权限清单 - ListSecurityMemberTablePermission](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityMemberTablePermission.md): 查询用户表权限清单请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/member-pe - [查询权限集成员列表 - ListSecurityPermissionSetMembers](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityPermissionSetMembers.md): 查询权限集成员列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/permissi - [查询权限集的权限列表 - ListSecurityPermissionSetPermissions](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityPermissionSetPermissions.md): 查询权限集的权限列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/permiss - [查询权限集列表 - ListSecurityPermissionSets](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityPermissionSets.md): 查询权限集列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/permission - [查询空间资源权限策略列表 - ListSecurityResourcePermissions](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityResourcePermissions.md): 查询空间资源权限策略列表请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/permis - [查询角色对一组库、表的可配置操作权限信息 - ListSecurityRoleActions](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityRoleActions.md): 查询角色对一组库、表的可配置操作权限信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/secur - [获取数据密级 - ListSecuritySecrecyLevels](https://support.huaweicloud.com/api-dataartsstudio/ListSecuritySecrecyLevels.md): 获取数据密级。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/data-classi - [查询敏感数据发现详情 - ListSecuritySensitiveDataDetails](https://support.huaweicloud.com/api-dataartsstudio/ListSecuritySensitiveDataDetails.md): 查询敏感数据发现详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/sensiti - [查询敏感数据发现概览结果(以分类和密级为单位) - ListSecuritySensitiveDataOverviews](https://support.huaweicloud.com/api-dataartsstudio/ListSecuritySensitiveDataOverviews.md): 查询敏感数据发现概览结果(以分类和密级为单位)。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/sec - [获取表权限审批人列表 - ListSecurityTableApprovers](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityTableApprovers.md): 获取表权限审批人列表请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permiss - [查询不合理的权限配置 - ListSecurityUnreasonablePermissions](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityUnreasonablePermissions.md): 查询不合理的权限配置。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/diagnos - [查询用户对表的权限 - ListSecurityUserTablePermission](https://support.huaweicloud.com/api-dataartsstudio/ListSecurityUserTablePermission.md): 查询用户对表的权限请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/permissi - [获取主题层级 - ListSubjectLevels](https://support.huaweicloud.com/api-dataartsstudio/ListSubjectLevels.md): 获取主题层级。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/subject-level - [查询模型下所有关系 - ListTableModelRelations](https://support.huaweicloud.com/api-dataartsstudio/ListTableModelRelations.md): 查询模型下所有关系。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/{model_id} - [查找表模型列表 - ListTableModels](https://support.huaweicloud.com/api-dataartsstudio/ListTableModels.md): 通过中英文名称、创建者、审核人、状态、修改时间分页查找关系建模中的表模型信息，包括逻辑实体、物理表和其属性。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身 - [查询表的作业引用数 - ListTaskTableReferenceCount](https://support.huaweicloud.com/api-dataartsstudio/ListTaskTableReferenceCount.md): 查询表的作业作业（调度中）引用数量。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/factory/ - [查询作业表引用详情 - ListTaskTableReferenceDetail](https://support.huaweicloud.com/api-dataartsstudio/ListTaskTableReferenceDetail.md): 查询表被作业（调度中）引用详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/tas - [获取工作空间用户角色 - ListWorkspaceRoles](https://support.huaweicloud.com/api-dataartsstudio/ListWorkspaceRoles.md): 获取工作空间用户角色。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/users/role状态码：20 - [获取模型 - ListWorkspaces](https://support.huaweicloud.com/api-dataartsstudio/ListWorkspaces.md): 获取当前空间下的全部模型信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/works - [根据userId获取对应的工作空间集合 - ListWorkspacesForUser](https://support.huaweicloud.com/api-dataartsstudio/ListWorkspacesForUser.md): 根据userId获取该用户有权限的工作空间集合。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/{in - [获取工作空间用户信息 - ListWorkspaceusers](https://support.huaweicloud.com/api-dataartsstudio/ListWorkspaceusers.md): 获取工作空间用户信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/{workspace_id}/u - [批量移动API至新目录 - MigrateApi](https://support.huaweicloud.com/api-dataartsstudio/MigrateApi.md): 批量移动API至新目录。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/service/servic - [移动当前目录至新目录 - MigrateCatalog](https://support.huaweicloud.com/api-dataartsstudio/MigrateCatalog.md): 移动当前目录至新目录。移动目录的同时会移动其下的所有子目录与API。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{proj - [修改集群 - ModifyCluster](https://support.huaweicloud.com/api-dataartsstudio/ModifyCluster.md): 修改CDM集群配置。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1.1/{project_id}/cluster/modify - [修改自定义项 - ModifyCustomizedFields](https://support.huaweicloud.com/api-dataartsstudio/ModifyCustomizedFields.md): 修改自定义项（包括表自定义项、属性自定义项、主题自定义项、业务指标自定义项）。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{ - [创建或更新安全管理员 - ModifySecurityAdmin](https://support.huaweicloud.com/api-dataartsstudio/ModifySecurityAdmin.md): 创建或更新安全管理员。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/security/admin状 - [操作质量作业调度 - OperationQualityTaskSchedule](https://support.huaweicloud.com/api-dataartsstudio/OperationQualityTaskSchedule.md): 该接口用于数据质量的质量作业操作，可通过该接口开启质量作业调度或者停止调度。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{ - [用户行为分析(邀测) - ParseUserBehavior](https://support.huaweicloud.com/api-dataartsstudio/ParseUserBehavior.md): 用户行为分析，该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{projec - [DataArtsStudio实例一键购买接口 - PayForDgcOneKey](https://support.huaweicloud.com/api-dataartsstudio/PayForDgcOneKey.md): DataArtsStudio实例一键购买接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策略权限。授权项访问级别资源类型（*为必须）条件键别名依赖的授权项D - [身份策略授权参考](https://support.huaweicloud.com/api-dataartsstudio/Permission.md): 目前IAM支持两类授权，一类是角色与策略授权，另一类为身份策略授权，两者的区别和关系请参考权限及授权项说明。本章为您介绍在身份策略授权场景下，调用API对于权限的相关要求。云服务在IAM预置了常用的权限，称为系统身份策略。如果IAM系统身份策略无法满足授权要求，管理员可以根据各服务支持的授权项，创建IAM自定义身份策略来进行精细的访问控制 - [导出资源 - PostQualityResourceExport](https://support.huaweicloud.com/api-dataartsstudio/PostQualityResourceExport.md): 该接口用于数据质量导出操作，可通过该接口导出质量作业或者对账作业等属于数据质量服务的资源数据。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。P - [导入资源 - PostQualityResourceImport](https://support.huaweicloud.com/api-dataartsstudio/PostQualityResourceImport.md): 该接口用于数据质量导入操作使用。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/quality/re - [上传导入的文件接口 - PostQualityResourceUpload](https://support.huaweicloud.com/api-dataartsstudio/PostQualityResourceUpload.md): 该接口用于数据质量导入文件使用。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/quality/re - [发布API - PublishApiToInstance](https://support.huaweicloud.com/api-dataartsstudio/PublishApiToInstance.md): 发布API。API只有发布后，才能够被调用。API发布时，可以将API发送至指定网关。共享版，必须发送至API网关共享版。共享版，必须发送至API网关共享版。专享版，可以依据自身需要，选择将API发送至API网关专享版、ROMA-APIC、或不发布网关。专享版，可以依据自身需要，选择将API发送至API网关专享版、ROMA-APIC、或不 - [重跑质量作业和对账作业 - ReStartTask](https://support.huaweicloud.com/api-dataartsstudio/ReStartTask.md): 该接口用于重跑数据质量的质量作业和对账作业。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_id}/qual - [删除标签 - RemoveDesignEntityTags](https://support.huaweicloud.com/api-dataartsstudio/RemoveDesignEntityTags.md): 根据资产（表或属性）的ID删除资产标签。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/desi - [清空质量规则 - RemoveDesignQualityInfos](https://support.huaweicloud.com/api-dataartsstudio/RemoveDesignQualityInfos.md): 清空表的质量规则。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。DELETE /v2/{project_id}/design/{table_i - [指定字段采集概要 - RenewDataProfile](https://support.huaweicloud.com/api-dataartsstudio/RenewDataProfile.md): 指定字段采集概要信息接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/asset/profile - [关联属性与数据标准 - ResetLinkAttributeAndStandard](https://support.huaweicloud.com/api-dataartsstudio/ResetLinkAttributeAndStandard.md): 关联属性与数据标准。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/standards/ - [重启集群 - RestartCluster](https://support.huaweicloud.com/api-dataartsstudio/RestartCluster.md): 重启集群接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1.1/{project_id}/clusters/{cluster - [重跑作业实例（邀测） - RetryFactoryJobInstance](https://support.huaweicloud.com/api-dataartsstudio/RetryFactoryJobInstance.md): 支持重跑作业实例以及上下游的作业实例。该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST - [撤回审批单 - RollbackApproval](https://support.huaweicloud.com/api-dataartsstudio/RollbackApproval.md): 撤回审批单。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/approvals状态码：2 - [作业测试运行 - RunJobTest](https://support.huaweicloud.com/api-dataartsstudio/RunJobTest.md): 提交作业测试运行请求，用于在测试环境中验证作业定义的正确性。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v2/{project_ - [获取审批单 - SearchApprovals](https://support.huaweicloud.com/api-dataartsstudio/SearchApprovals.md): 获取审批单。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/approvals状态码：2 - [查找原子指标 - SearchAtomicIndexes](https://support.huaweicloud.com/api-dataartsstudio/SearchAtomicIndexes.md): 通过中英文名称、创建者、审核人、状态、修改时间分页查找原子指标信息，中英文名称支持模糊查询。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GE - [查询API已授权的APP - SearchAuthorizeApp](https://support.huaweicloud.com/api-dataartsstudio/SearchAuthorizeApp.md): 查询API已授权的APP。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/author - [查询APP已拥有授权的API - SearchBindApi](https://support.huaweicloud.com/api-dataartsstudio/SearchBindApi.md): 查询APP已拥有授权的API。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/auth - [查询流程架构列表 - SearchCatalogs](https://support.huaweicloud.com/api-dataartsstudio/SearchCatalogs.md): 查询流程架构列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/biz/catalog - [查看码表字段值 - SearchCodeTableValues](https://support.huaweicloud.com/api-dataartsstudio/SearchCodeTableValues.md): 查看码表字段值。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/code-tables/ - [查询码表列表 - SearchCodeTables](https://support.huaweicloud.com/api-dataartsstudio/SearchCodeTables.md): 查询码表列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/code-tables状态 - [查询自定义项 - SearchCustomizedFields](https://support.huaweicloud.com/api-dataartsstudio/SearchCustomizedFields.md): 查询自定义项（包括表自定义项、属性自定义项、主题自定义项、业务指标自定义项）。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{ - [查看API调试信息(专享版) - SearchDebugInfo](https://support.huaweicloud.com/api-dataartsstudio/SearchDebugInfo.md): 查看API在不同集群上的调试信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/ap - [获取下展信息与已发布实体的差异 - SearchDesignLatestApprovalDiff](https://support.huaweicloud.com/api-dataartsstudio/SearchDesignLatestApprovalDiff.md): 当已发布的实体被编辑时，其会生成下展，该接口用于获取下展信息与已发布实体的差异。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/ - [预览sql - SearchDesignSqlDdl](https://support.huaweicloud.com/api-dataartsstudio/SearchDesignSqlDdl.md): 预览sql请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/design/table/{tb_id}/d - [获取数据连接信息 - SearchDwByType](https://support.huaweicloud.com/api-dataartsstudio/SearchDwByType.md): 获取指定类型下的数据连接信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/atlas - [查询目的表和字段(待下线) - SearchFieldsForRelation](https://support.huaweicloud.com/api-dataartsstudio/SearchFieldsForRelation.md): 查询目的表和字段(待下线)。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/{model - [通过路径获取ID - SearchIdByPath](https://support.huaweicloud.com/api-dataartsstudio/SearchIdByPath.md): 通过路径获取ID。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/servicecat - [查看API发布信息(专享版) - SearchPublishInfo](https://support.huaweicloud.com/api-dataartsstudio/SearchPublishInfo.md): 查看API在不同集群上的发布信息。API在集群上进行过操作后会存在发布信息，例如调试、注册类发布等。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权 - [查找主题列表 - SearchSubject](https://support.huaweicloud.com/api-dataartsstudio/SearchSubject.md): 通过名称（支持模糊查询）、创建者、责任人、状态、修改时间分页查找主题。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{proj - [查找主题列表(新) - SearchSubjectNew](https://support.huaweicloud.com/api-dataartsstudio/SearchSubjectNew.md): 查找主题(新)。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v3/{project_id}/design/subjects状态码： - [查找版本信息 - SearchVersions](https://support.huaweicloud.com/api-dataartsstudio/SearchVersions.md): 通过名称、创建者、修改时间查找版本信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/ - [查看汇总表详情 - ShowAggregationLogicTableById](https://support.huaweicloud.com/api-dataartsstudio/ShowAggregationLogicTableById.md): 通过ID查看汇总表的详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/aggre - [查询API信息 - ShowApi](https://support.huaweicloud.com/api-dataartsstudio/ShowApi.md): 查询API信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/apis/{api_i - [查询指定API仪表板数据详情 - ShowApiDashboard](https://support.huaweicloud.com/api-dataartsstudio/ShowApiDashboard.md): 查询指定API仪表板数据详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/stat - [查询API仪表板数据详情 - ShowApisDashboard](https://support.huaweicloud.com/api-dataartsstudio/ShowApisDashboard.md): 查询API仪表板数据详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/statis - [查询API统计数据详情 - ShowApisDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowApisDetail.md): 查询API统计数据详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/statist - [查询统计用户相关的总览开发指标 - ShowApisOverview](https://support.huaweicloud.com/api-dataartsstudio/ShowApisOverview.md): 查询统计用户相关的总览开发指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/sta - [查询应用详情 - ShowAppInfo](https://support.huaweicloud.com/api-dataartsstudio/ShowAppInfo.md): 查询应用详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/apps/{app_id - [获取申请详情 - ShowApplyDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowApplyDetail.md): 获取申请详情。此功能仅用作信息详情展示，不用做业务处理，因此不展示编号等后台参数。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1 - [查询APP仪表板数据详情 - ShowAppsDashboard](https://support.huaweicloud.com/api-dataartsstudio/ShowAppsDashboard.md): 查询APP仪表板数据详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/statis - [查询APP统计数据详情 - ShowAppsDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowAppsDetail.md): 查询APP统计数据详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/statist - [查询统计用户相关的总览调用指标 - ShowAppsOverview](https://support.huaweicloud.com/api-dataartsstudio/ShowAppsOverview.md): 查询统计用户相关的总览调用指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/sta - [查看原子指标详情 - ShowAtomicIndexById](https://support.huaweicloud.com/api-dataartsstudio/ShowAtomicIndexById.md): 通过ID获取原子指标详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/atomi - [查询所有可用区 - ShowAvailabilityZones](https://support.huaweicloud.com/api-dataartsstudio/ShowAvailabilityZones.md): 查询CDM集群的所有可用区。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/regions/{re - [查找流程架构详情 - ShowBizCatalogDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowBizCatalogDetail.md): 查找流程架构详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/biz/catalog - [查看指标详情 - ShowBizMetricById](https://support.huaweicloud.com/api-dataartsstudio/ShowBizMetricById.md): 通过ID查看指标的详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/biz-me - [查询业务资产 - ShowBusinessAssets](https://support.huaweicloud.com/api-dataartsstudio/ShowBusinessAssets.md): 查询业务资产，包含数据规范同步过来的业务对象和逻辑实体。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id - [获取业务资产统计信息 - ShowBusinessAssetsStatistic](https://support.huaweicloud.com/api-dataartsstudio/ShowBusinessAssetsStatistic.md): 获取业务资产统计信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v3/{project_id}/asset/statistic/ - [查询业务资产目录树 - ShowBusinessAssetsTree](https://support.huaweicloud.com/api-dataartsstudio/ShowBusinessAssetsTree.md): 逐级查询业务资产目录树，包含数据规范同步过来的业务对象和逻辑实体。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v3/{projec - [查询服务目录 - ShowCatalogDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowCatalogDetail.md): 查询服务目录。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/servicecatal - [查询集群详情 - ShowClusterDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowClusterDetail.md): 查询集群详情接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/clusters/{cluste - [查询集群的企业项目ID - ShowClusterEnterpriseProjects](https://support.huaweicloud.com/api-dataartsstudio/ShowClusterEnterpriseProjects.md): 查询指定集群的企业项目ID。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/clusters/{c - [查看码表详情 - ShowCodeTableById](https://support.huaweicloud.com/api-dataartsstudio/ShowCodeTableById.md): 通过ID查看码表的详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/code-t - [查看复合指标详情 - ShowCompoundMetricById](https://support.huaweicloud.com/api-dataartsstudio/ShowCompoundMetricById.md): 通过ID获取复合指标详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/compo - [查看限定详情 - ShowConditionById](https://support.huaweicloud.com/api-dataartsstudio/ShowConditionById.md): 通过ID查看限定详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/conditi - [获取对账作业详情 - ShowConsistencyTaskDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowConsistencyTaskDetail.md): 获取对账作业详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/consistenc - [资产详情(邀测) - ShowDataDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowDataDetail.md): 资产详情接口，该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project - [表数据预览 - ShowDataPreview](https://support.huaweicloud.com/api-dataartsstudio/ShowDataPreview.md): 表数据预览请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v3/{project_id}/asset/entities/guid/{g - [查询概要 - ShowDataProfile](https://support.huaweicloud.com/api-dataartsstudio/ShowDataProfile.md): 查询表中数据结构分布等概要信息，仅支持DWS、DLI类型数据源。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v3/{project - [查询集群详情信息 - ShowDataServiceInstance](https://support.huaweicloud.com/api-dataartsstudio/ShowDataServiceInstance.md): 查询集群详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/instances/ - [资产搜索(邀测) - ShowDataSets](https://support.huaweicloud.com/api-dataartsstudio/ShowDataSets.md): 资产搜索，该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_ - [查询单个数据连接信息 - ShowDataconnection](https://support.huaweicloud.com/api-dataartsstudio/ShowDataconnection.md): 查询单个数据连接信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/data-connections - [资产血缘(邀测) - ShowDatamapLineage](https://support.huaweicloud.com/api-dataartsstudio/ShowDatamapLineage.md): 资产血缘接口，该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project - [查询支持的版本 - ShowDatastores](https://support.huaweicloud.com/api-dataartsstudio/ShowDatastores.md): 查询CDM集群支持的版本。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/datastores状态 - [查看衍生指标详情 - ShowDerivativeIndexById](https://support.huaweicloud.com/api-dataartsstudio/ShowDerivativeIndexById.md): 通过ID获取衍生详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/derivat - [获取操作结果 - ShowDesignOperationResult](https://support.huaweicloud.com/api-dataartsstudio/ShowDesignOperationResult.md): 获取批量操作的结果，如逻辑模型转物理模型和逆向数据库操作。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id - [查找主题详情 - ShowDesignSubject](https://support.huaweicloud.com/api-dataartsstudio/ShowDesignSubject.md): 查找主题详情请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/subjects/{id}无 - [查看维度详情 - ShowDimensionById](https://support.huaweicloud.com/api-dataartsstudio/ShowDimensionById.md): 通过ID查看维度详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/dimensi - [查看维度表详情 - ShowDimensionLogicTableById](https://support.huaweicloud.com/api-dataartsstudio/ShowDimensionLogicTableById.md): 通过ID查看维度表的详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/dimen - [查询所有集群的企业项目ID - ShowEnterpriseProjects](https://support.huaweicloud.com/api-dataartsstudio/ShowEnterpriseProjects.md): 查询当前项目下的所有集群的企业项目ID。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/enter - [查询技术资产 - ShowEntities](https://support.huaweicloud.com/api-dataartsstudio/ShowEntities.md): 查询技术资产。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/asset/entities/sear - [根据guid获取资产详情 - ShowEntityInfoByGuid](https://support.huaweicloud.com/api-dataartsstudio/ShowEntityInfoByGuid.md): 根据表guid可以获取表的详情信息，表的详情信息包含column的信息，也可以根据column的guid直接获取column的信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授 - [查看事实表详情 - ShowFactLogicTableById](https://support.huaweicloud.com/api-dataartsstudio/ShowFactLogicTableById.md): 通过ID查看事实表的详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/fact- - [查询基线任务详情 - ShowFactoryBaseline](https://support.huaweicloud.com/api-dataartsstudio/ShowFactoryBaseline.md): 查询基线任务详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/aiops/{ins - [查询实例的上下游依赖 - ShowFactoryDependInstances](https://support.huaweicloud.com/api-dataartsstudio/ShowFactoryDependInstances.md): 查询实例的上下游依赖请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/instances - [全局搜索 - ShowFactoryFullText](https://support.huaweicloud.com/api-dataartsstudio/ShowFactoryFullText.md): 全局搜索请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/search状态码：200状态 - [查看作业的上下游依赖关系 - ShowFactoryJobDependInstances](https://support.huaweicloud.com/api-dataartsstudio/ShowFactoryJobDependInstances.md): 提供对外接口，查看作业的上下游依赖关系及责任人。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/fac - [查询规格详情 - ShowFlavorDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowFlavorDetail.md): 查询指定规格ID的规格详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/flavors/{fl - [查询版本规格 - ShowFlavors](https://support.huaweicloud.com/api-dataartsstudio/ShowFlavors.md): 按版本ID查询所有兼容规格。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/datastores/ - [查询标签列表 - ShowGlossaryList](https://support.huaweicloud.com/api-dataartsstudio/ShowGlossaryList.md): 查询标签列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v3/{project_id}/tags状态码：200状态码：400状态 - [查询集群实例信息 - ShowInstanceDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowInstanceDetail.md): 查询集群实例信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/instances/{insta - [产出信息(邀测) - ShowInstanceInfos](https://support.huaweicloud.com/api-dataartsstudio/ShowInstanceInfos.md): 查询表相关的作业算子运行实例信息，该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v - [获取任务日志 - ShowInstanceLog](https://support.huaweicloud.com/api-dataartsstudio/ShowInstanceLog.md): 获取任务日志。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/metadata/tasks/{tas - [获取实例结果 - ShowInstanceResult](https://support.huaweicloud.com/api-dataartsstudio/ShowInstanceResult.md): 获取实例结果。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/instances/{i - [查询作业状态 - ShowJobStatus](https://support.huaweicloud.com/api-dataartsstudio/ShowJobStatus.md): 查询作业状态接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/clusters/{cluste - [查询作业 - ShowJobs](https://support.huaweicloud.com/api-dataartsstudio/ShowJobs.md): 查询作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/clusters/{cluster_ - [血缘查询 - ShowLineage](https://support.huaweicloud.com/api-dataartsstudio/ShowLineage.md): 血缘查询。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v3/{project_id}/entities/{guid}/lineag - [批量血缘(邀测) - ShowLineageBulk](https://support.huaweicloud.com/api-dataartsstudio/ShowLineageBulk.md): 批量血缘接口，一次性获取所有作业算子的血缘。该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。G - [查询连接 - ShowLink](https://support.huaweicloud.com/api-dataartsstudio/ShowLink.md): 查询连接接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/clusters/{cluster_ - [获取消息详情 - ShowMessageDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowMessageDetail.md): 获取消息详情。此功能仅用作信息详情展示，不用做业务处理，因此不展示编号等后台参数。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1 - [查询指标资产 - ShowMetricAssets](https://support.huaweicloud.com/api-dataartsstudio/ShowMetricAssets.md): 指标资产查询接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/asset/metric-asse - [查询指标资产目录树 - ShowMetricTree](https://support.huaweicloud.com/api-dataartsstudio/ShowMetricTree.md): 查询指标资产目录树。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v3/{project_id}/asset/metric-tree - [表关联作业算子列表(邀测) - ShowNodes](https://support.huaweicloud.com/api-dataartsstudio/ShowNodes.md): 查询表相关的作业算子列表，该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{p - [通过ID获取路径 - ShowPathById](https://support.huaweicloud.com/api-dataartsstudio/ShowPathById.md): 通过ID获取路径。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/service/servicecat - [通过目录ID获取路径对象 - ShowPathObjectById](https://support.huaweicloud.com/api-dataartsstudio/ShowPathObjectById.md): 通过目录id获取路径对象。通过目录id获取从根目录至当前目录链路上每一层的路径信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v - [获取质量作业详情 - ShowQualityTaskDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowQualityTaskDetail.md): 获取质量作业详情请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/quality-tas - [获取队列(邀测) - ShowQueues](https://support.huaweicloud.com/api-dataartsstudio/ShowQueues.md): 获取队列列表，展示10条数据，该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/ - [查询实时集成作业详情 - ShowRealTimeJobDetails](https://support.huaweicloud.com/api-dataartsstudio/ShowRealTimeJobDetails.md): 查询实时集成作业的详细信息，仅支持一键入湖（OneClickCDC）类型的实时集成作业。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET - [查看关系详情 - ShowRelationById](https://support.huaweicloud.com/api-dataartsstudio/ShowRelationById.md): 通过ID获取关系详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/relatio - [查看安全管理员 - ShowSecurityAdmin](https://support.huaweicloud.com/api-dataartsstudio/ShowSecurityAdmin.md): 查看安全管理员。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/admin状态码：2 - [查询特定识别规则 - ShowSecurityDataClassificationRule](https://support.huaweicloud.com/api-dataartsstudio/ShowSecurityDataClassificationRule.md): 查询特定识别规则。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/data-clas - [查询规则组 - ShowSecurityDataClassificationRuleGroup](https://support.huaweicloud.com/api-dataartsstudio/ShowSecurityDataClassificationRuleGroup.md): 查询规则组。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/data-classif - [查询数据源防护模块诊断结果 - ShowSecurityDatasourceProtectionDiagnoseResult](https://support.huaweicloud.com/api-dataartsstudio/ShowSecurityDatasourceProtectionDiagnoseResult.md): 查询数据源防护模块诊断结果请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/diagn - [查询某个脱敏策略的详细信息 - ShowSecurityDynamicMaskingPolicy](https://support.huaweicloud.com/api-dataartsstudio/ShowSecurityDynamicMaskingPolicy.md): 查询某个脱敏策略的详细信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/mask - [查询单个用户同步任务 - ShowSecurityMemberSyncTask](https://support.huaweicloud.com/api-dataartsstudio/ShowSecurityMemberSyncTask.md): 查询单个用户同步任务。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/member- - [查询未进行静态脱敏任务的表信息 - ShowSecurityNoMaskingTableResult](https://support.huaweicloud.com/api-dataartsstudio/ShowSecurityNoMaskingTableResult.md): 查询未进行静态脱敏任务的表信息请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/dia - [查询数据权限控制模块诊断结果 - ShowSecurityPermissionManagementDiagnoseResult](https://support.huaweicloud.com/api-dataartsstudio/ShowSecurityPermissionManagementDiagnoseResult.md): 查询数据权限控制模块诊断结果。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/dia - [查询权限集 - ShowSecurityPermissionSet](https://support.huaweicloud.com/api-dataartsstudio/ShowSecurityPermissionSet.md): 查询权限集。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/permission-s - [查询单个资源权限策略 - ShowSecurityResourcePermissionPolicy](https://support.huaweicloud.com/api-dataartsstudio/ShowSecurityResourcePermissionPolicy.md): 查询单个资源权限策略请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/permissi - [根据指定的id查询数据密级 - ShowSecuritySecrecyLevel](https://support.huaweicloud.com/api-dataartsstudio/ShowSecuritySecrecyLevel.md): 根据指定的id查询数据密级。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/data - [查询敏感数据保护模块诊断结果 - ShowSecuritySensitiveDataDiagnoseResult](https://support.huaweicloud.com/api-dataartsstudio/ShowSecuritySensitiveDataDiagnoseResult.md): 查询敏感数据保护模块诊断结果请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{project_id}/security/diag - [查看数据标准详情 - ShowStandardById](https://support.huaweicloud.com/api-dataartsstudio/ShowStandardById.md): 通过ID获取数据标准详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/stand - [查询数据标准模板 - ShowStandardTemplate](https://support.huaweicloud.com/api-dataartsstudio/ShowStandardTemplate.md): 查询当前工作空间下的数据标准模板。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/sta - [查询作业执行历史 - ShowSubmissions](https://support.huaweicloud.com/api-dataartsstudio/ShowSubmissions.md): 查询作业执行历史接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1.1/{project_id}/clusters/{clus - [数据预览(邀测) - ShowTableData](https://support.huaweicloud.com/api-dataartsstudio/ShowTableData.md): 表数据预览，展示10条数据，该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v1/{ - [查看表模型详情 - ShowTableModelById](https://support.huaweicloud.com/api-dataartsstudio/ShowTableModelById.md): 通过ID获取模型表详情信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/table- - [搜索查询标签分页展示(邀测) - ShowTags](https://support.huaweicloud.com/api-dataartsstudio/ShowTags.md): 搜索查询标签分页展示，该接口功能处于邀测阶段，后续将随功能公测逐步开放。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{pr - [查询采集任务详情 - ShowTaskInfo](https://support.huaweicloud.com/api-dataartsstudio/ShowTaskInfo.md): 查询采集任务详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v3/{project_id}/metadata/tasks/{ta - [查询采集任务列表 - ShowTaskList](https://support.huaweicloud.com/api-dataartsstudio/ShowTaskList.md): 查询采集任务列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v3/{project_id}/metadata/tasks/se - [获取技术资产统计信息 - ShowTechnicalAssetsStatistic](https://support.huaweicloud.com/api-dataartsstudio/ShowTechnicalAssetsStatistic.md): 获取技术资产统计信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v3/{project_id}/asset/statistic/ - [获取规则模板详情 - ShowTemplatesDetail](https://support.huaweicloud.com/api-dataartsstudio/ShowTemplatesDetail.md): 获取规则模板详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/quality/rule-templ - [无血缘关系表查询 - ShowUnrelatedTable](https://support.huaweicloud.com/api-dataartsstudio/ShowUnrelatedTable.md): 无血缘关系表查询，请求参数classification、type_names、connection_names、query需至少指定一个。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份 - [获取单个工作空间信息 - ShowWorkSpace](https://support.huaweicloud.com/api-dataartsstudio/ShowWorkSpace.md): 获取单个工作空间信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，需具备如下身份策略权限。授权项访问级别资源类型（*为必须）条件键别名依赖的授权项DataArtsStudi - [查看空间默认项配置列表 - ShowWorkspaceConfigValues](https://support.huaweicloud.com/api-dataartsstudio/ShowWorkspaceConfigValues.md): 支持查看空间获取默认项配置列表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/factory/wor - [查询模型详情 - ShowWorkspaceDetailById](https://support.huaweicloud.com/api-dataartsstudio/ShowWorkspaceDetailById.md): 查询物理模型或逻辑模型的工作区空间详情。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。GET /v2/{project_id}/design/ - [启动集群 - StartCluster](https://support.huaweicloud.com/api-dataartsstudio/StartCluster.md): 启动集群接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1.1/{project_id}/clusters/{cluster - [启动作业 - StartJob](https://support.huaweicloud.com/api-dataartsstudio/StartJob.md): 启动作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1.1/{project_id}/clusters/{cluster_ - [停止集群（待下线） - StopCluster](https://support.huaweicloud.com/api-dataartsstudio/StopCluster.md): 停止集群接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1.1/{project_id}/clusters/{cluster - [停止作业 - StopJob](https://support.huaweicloud.com/api-dataartsstudio/StopJob.md): 停止作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1.1/{project_id}/clusters/{cluster_ - [解冻工作空间 - UnfreezeWorkspace](https://support.huaweicloud.com/api-dataartsstudio/UnfreezeWorkspace.md): 解冻工作空间。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。POST /v1/{project_id}/{instance_id}/works - [撤回工单申请 - UnpublishSecurityApplication](https://support.huaweicloud.com/api-dataartsstudio/UnpublishSecurityApplication.md): 撤回工单申请。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/permission- - [更新通知配置 - UpdateAlarmRule](https://support.huaweicloud.com/api-dataartsstudio/UpdateAlarmRule.md): 修改告警规则通知配置，用于更新作业监控告警的节点信息、通知类型、提醒类型、启用标志、通知次数、通知间隔和SMN主题名称等。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前A - [更新API - UpdateApi](https://support.huaweicloud.com/api-dataartsstudio/UpdateApi.md): 更新API。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/service/apis/{api_id} - [更新应用 - UpdateApp](https://support.huaweicloud.com/api-dataartsstudio/UpdateApp.md): 更新应用。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/service/apps/{app_id}状 - [更新业务指标 - UpdateBizMetric](https://support.huaweicloud.com/api-dataartsstudio/UpdateBizMetric.md): 更新业务指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/biz-metrics状态 - [更新服务目录 - UpdateCatalog](https://support.huaweicloud.com/api-dataartsstudio/UpdateCatalog.md): 更新服务目录。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/service/servicecatal - [修改码表 - UpdateCodeTable](https://support.huaweicloud.com/api-dataartsstudio/UpdateCodeTable.md): 修改码表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/code-tables/{id - [编辑码表字段值 - UpdateCodeTableValues](https://support.huaweicloud.com/api-dataartsstudio/UpdateCodeTableValues.md): 编辑码表字段值。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/code-tables/ - [开启数据服务集群LTS日志转储 - UpdateDataServiceInstanceLtsLog](https://support.huaweicloud.com/api-dataartsstudio/UpdateDataServiceInstanceLtsLog.md): 开启数据服务集群LTS日志转储。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/service/ins - [开启数据服务集群OBS日志转储 - UpdateDataServiceInstanceObsLog](https://support.huaweicloud.com/api-dataartsstudio/UpdateDataServiceInstanceObsLog.md): 开启数据服务集群OBS日志转储。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/service/ins - [更新数据连接信息 - UpdateDataconnection](https://support.huaweicloud.com/api-dataartsstudio/UpdateDataconnection.md): 更新数据连接信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/data-connections/{ - [更新汇总表 - UpdateDesignAggregationLogicTable](https://support.huaweicloud.com/api-dataartsstudio/UpdateDesignAggregationLogicTable.md): 更新汇总表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/aggregation-lo - [更新原子指标 - UpdateDesignAtomicIndex](https://support.huaweicloud.com/api-dataartsstudio/UpdateDesignAtomicIndex.md): 更新单个原子指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/atomic-inde - [更新复合指标 - UpdateDesignCompoundMetric](https://support.huaweicloud.com/api-dataartsstudio/UpdateDesignCompoundMetric.md): 根据参数，更新复合指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/compound - [修改或删除数仓分层 - UpdateDesignDataLayers](https://support.huaweicloud.com/api-dataartsstudio/UpdateDesignDataLayers.md): 修改或删除数仓分层请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/design/data-layers - [更新衍生指标 - UpdateDesignDerivativeIndex](https://support.huaweicloud.com/api-dataartsstudio/UpdateDesignDerivativeIndex.md): 根据传入参数，更新衍生指标。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/deriva - [更新维度 - UpdateDesignDimension](https://support.huaweicloud.com/api-dataartsstudio/UpdateDesignDimension.md): 根据参数，更新维度信息。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/dimensio - [更新表的异常数据输出配置 - UpdateDesignTableQuality](https://support.huaweicloud.com/api-dataartsstudio/UpdateDesignTableQuality.md): 更新表的异常数据输出配置，包括是否生成异常数据、设置异常数据数据库或Schema、设置异常表表前缀/表后缀。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身 - [修改目录 - UpdateDirectory](https://support.huaweicloud.com/api-dataartsstudio/UpdateDirectory.md): 修改目录（数据标准、码表）。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/direct - [修改资产指定属性 - UpdateEntityAttribute](https://support.huaweicloud.com/api-dataartsstudio/UpdateEntityAttribute.md): 修改资产指定属性。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v3/{project_id}/asset/guid/{guid}/ - [编辑基线任务 - UpdateFactoryBaseline](https://support.huaweicloud.com/api-dataartsstudio/UpdateFactoryBaseline.md): 编辑基线任务。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/factory/aiops/{insta - [修改作业 - UpdateJob](https://support.huaweicloud.com/api-dataartsstudio/UpdateJob.md): 修改作业接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1.1/{project_id}/clusters/{cluster_ - [修改连接 - UpdateLink](https://support.huaweicloud.com/api-dataartsstudio/UpdateLink.md): 修改连接接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1.1/{project_id}/clusters/{cluster_ - [数据质量运维管理操作处理&记录 - UpdateQualityInstanceRecord](https://support.huaweicloud.com/api-dataartsstudio/UpdateQualityInstanceRecord.md): 该接口用于数据质量监控实例的问题处理，在控制台上可通过“更多>处理&记录”进入问题处理界面。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PU - [修改当前空间下分配的队列资源 - UpdateSecurityAssignedQueue](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecurityAssignedQueue.md): 修改当前空间下分配的队列资源。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/per - [修改数据分类 - UpdateSecurityDataCategories](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecurityDataCategories.md): 修改数据分类。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/data-catego - [修改组合识别规则 - UpdateSecurityDataClassificationCombineRule](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecurityDataClassificationCombineRule.md): 修改组合识别规则请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/data-class - [修改识别规则接口 - UpdateSecurityDataClassificationRule](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecurityDataClassificationRule.md): 修改识别规则接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/data-clas - [修改规则分组接口 - UpdateSecurityDataClassificationRuleGroup](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecurityDataClassificationRuleGroup.md): 修改规则分组接口请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/data-class - [更新动态数据脱敏策略 - UpdateSecurityDynamicMaskingPolicy](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecurityDynamicMaskingPolicy.md): 更新动态数据脱敏策略。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/masking - [更新权限集 - UpdateSecurityPermissionSet](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecurityPermissionSet.md): 更新权限集。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/permission-s - [更新权限集的权限 - UpdateSecurityPermissionSetPermission](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecurityPermissionSetPermission.md): 更新权限集的权限。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/permissio - [更新空间资源权限策略 - UpdateSecurityResourcePermissionPolicy](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecurityResourcePermissionPolicy.md): 更新空间资源权限策略请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/permissi - [修改识别规则状态接口 - UpdateSecurityRuleEnableStatus](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecurityRuleEnableStatus.md): 修改识别规则状态接口。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/data-cl - [根据指定的id修改数据密级 - UpdateSecuritySecrecyLevel](https://support.huaweicloud.com/api-dataartsstudio/UpdateSecuritySecrecyLevel.md): 根据指定的id修改数据密级。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/security/data - [修改数据标准 - UpdateStandard](https://support.huaweicloud.com/api-dataartsstudio/UpdateStandard.md): 修改数据标准。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/standards/{id - [修改数据标准模板 - UpdateStandardTemplate](https://support.huaweicloud.com/api-dataartsstudio/UpdateStandardTemplate.md): 修改数据标准模板。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/standards/t - [修改主题 - UpdateSubject](https://support.huaweicloud.com/api-dataartsstudio/UpdateSubject.md): 修改主题。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/subjects状态码：200 - [修改主题(新) - UpdateSubjectNew](https://support.huaweicloud.com/api-dataartsstudio/UpdateSubjectNew.md): 修改主题(新)。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v3/{project_id}/design/subjects状态码： - [更新表模型 - UpdateTableModel](https://support.huaweicloud.com/api-dataartsstudio/UpdateTableModel.md): 在关系建模中更新一个表模型及其属性，包括逻辑实体和物理表。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id - [编辑采集任务 - UpdateTaskInfo](https://support.huaweicloud.com/api-dataartsstudio/UpdateTaskInfo.md): 编辑采集任务。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v3/{project_id}/metadata/tasks/{task - [更新规则模板 - UpdateTemplate](https://support.huaweicloud.com/api-dataartsstudio/UpdateTemplate.md): 更新规则模板请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/quality/rule-template - [更新空间默认项设置 - UpdateWorkSpaceConfigs](https://support.huaweicloud.com/api-dataartsstudio/UpdateWorkSpaceConfigs.md): 支持更新空间默认项设置。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/factory/workspa - [编辑工作空间用户或用户组 - UpdateWorkSpaceUserOrGroup](https://support.huaweicloud.com/api-dataartsstudio/UpdateWorkSpaceUserOrGroup.md): 编辑工作空间用户或用户组。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/{workspace_id} - [更新模型工作区 - UpdateWorkspace](https://support.huaweicloud.com/api-dataartsstudio/UpdateWorkspace.md): 更新模型工作区。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v2/{project_id}/design/workspaces状态 - [编辑工作空间 - UpdateWorkspace](https://support.huaweicloud.com/api-dataartsstudio/UpdateWorkspace_0.md): 编辑工作空间。请参见如何调用API。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。PUT /v1/{project_id}/{instance_id}/update - [角色与策略授权参考](https://support.huaweicloud.com/api-dataartsstudio/abcd.md): 目前IAM支持两类授权，一类是角色与策略授权，另一类为身份策略授权，两者的区别和关系请参考权限及授权项说明。本章为您介绍在角色与策略授权场景下，调用API对于权限的相关要求。DataArts Studio仅支持基于系统角色的授权，不支持策略授权。为了实现精细的权限管控，DataArts Studio提供了系统角色+工作空间角色授权的能力， - [数据集成API概览](https://support.huaweicloud.com/api-dataartsstudio/apiOverview_CDM.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [数据开发API（V1）概览](https://support.huaweicloud.com/api-dataartsstudio/apiOverview_DLF_V1.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [数据开发API（V2）概览](https://support.huaweicloud.com/api-dataartsstudio/apiOverview_DLF_V2.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [数据安全API概览](https://support.huaweicloud.com/api-dataartsstudio/apiOverview_DLS.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [数据目录API概览](https://support.huaweicloud.com/api-dataartsstudio/apiOverview_DMAP.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [数据质量API概览](https://support.huaweicloud.com/api-dataartsstudio/apiOverview_DQC.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [数据架构API概览](https://support.huaweicloud.com/api-dataartsstudio/apiOverview_DataArchitecture.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [数据服务API概览](https://support.huaweicloud.com/api-dataartsstudio/apiOverview_DataService.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [管理中心API概览](https://support.huaweicloud.com/api-dataartsstudio/apiOverview_Manager.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [概述](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0002.md): 欢迎使用数据治理中心DataArts Studio服务。DataArts Studio是针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台，包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数 - [调用说明](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0003.md): 数据治理中心提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用。调用方法请参见如何调用API。构造请求认证鉴权返回结果构造请求认证鉴权返回结果 - [终端节点Endpoint](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0004.md): 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。数据治理中心的终端节点Endpoint构造规则如下，请您根据业务需要选择对应区域的终端节点。数据集成接口：cdm.{region_id}.myhuaweicloud.com，具体如表1所示。数据开发 V1接口：dayu-dlf.{region_id}.my - [约束与限制](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0005.md): 仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataArts Studio。仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataArts Studio。各组件API的流量限制请参见API概览。数据集成AP - [基本概念](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0006.md): 账号用户的账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是创建用户并使用用户进行日常管理工作。用户的账号对其所拥有的资源及云服务具有完全的访问权限，可以重置用户密码、分配用户权限等。为了确保账号安全，建议您不要直接使用账号进行日常管理工作，而是 - [认证鉴权](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0010.md): 调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。Token认证：通过Token认证通用请求。AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataAr - [返回结果](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0011.md): 请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。请求发送以后，您会收到响应，包含状态码、响应消息头和消息体。状态码是一组从1xx到5xx的数字代码，状态码表示了请求响应的状态，完整的状态码列表请参见状态码。对于获取用户Token接口，如果调用后返回状态码为201，则表示请求成功。对应请求消息头，响应同样也有消息头，如Conte - [数据集成应用示例](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0013.md): 本节通过cURL调用CDM API，迁移本地MySQL数据库中的数据到云上服务DWS为例，介绍使用CDM API的基本流程。获取token获取用户的token，因为在后续的请求中需要将token放到请求消息头中作为认证。创建CDM集群如果您已经创建过CDM集群，可以跳过该步骤，直接使用已创建的集群ID。如果您需要使用新的集群执行迁移任务， - [数据开发应用示例](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0015.md): 数据治理中心DataArts Studio帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。下面介绍如何调用创建脚本API创建脚本，API的调用方法请参见如何调用API。您需要规划数据开发服务所在的区域信息，并根据区域确定调用API的Endpoint。终端节点（Endpoi - [删除脚本 - DeleteScript](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0057.md): 此接口用以删除指定脚本。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式DELETE /v1 - [执行脚本 - ExecuteScript](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0058.md): 该接口用于执行指定脚本，支持执行DWS SQL、DLI SQL、RDS SQL、Hive SQL、Spark SQL、Presto SQL、Shell、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala SQL脚本。脚本每执行一次，生成一个脚本实例。执行脚本接口是一个异步命令， - [停止脚本实例的执行 - CancelScript](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0059.md): 该接口用于停止脚本实例的执行。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式POST /v - [删除资源 - DeleteResource](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0061.md): 此接口可以删除指定资源。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式DELETE /v1 - [查询作业文件 - ShowFileInfo](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0063.md): 从OBS路径上导入作业前，可以通过此接口查询导入作业文件中是否有作业和脚本。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API - [停止作业 - StopJob](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0064.md): 本接口用于停止调度一个作业。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式POST /v - [删除作业 - DeleteJob](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0065.md): 本接口用于删除DLF作业，调度中的作业不允许删除，若要删除调度中的作业，请先停止该作业。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权 - [停止作业实例 - StopJobInstance](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0066.md): 停止指定作业实例。只有作业实例的状态是运行中，才能停止作业实例。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份 - [重跑作业实例 - RestoreJobInstance](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0067.md): 重跑指定作业实例。只有作业实例的状态是成功、失败和取消，才能重跑作业实例。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调 - [创建作业 - CreateJob](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0084.md): 此接口可以创建一个新作业，作业由一个或多个相互依赖的节点构成，支持Hive SQL、CDM Job等节点。DLF有两类型作业：批处理作业和实时作业。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策 - [修改作业 - UpdateJob](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0085.md): 此接口可以对一个作业进行编辑。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式PUT /v1 - [查询作业列表 - ListJobs](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0086.md): 查询批处理或实时作业列表，每次查询返回的作业数量上限是1000。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份 - [查询作业详情 - ShowJob](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0087.md): 此接口可以查询指定DLF作业定义。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式GET / - [导出作业 - ExportJob](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0088.md): 导出zip压缩包格式的作业文件，包括作业定义、作业依赖的脚本、CDM作业定义。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前AP - [批量导出作业 - ExportJobList](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0089.md): 此接口可以批量导出DLF作业定义，包括作业依赖的脚本和CDM作业定义。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无 - [导入作业 - ImportJob](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0090.md): 将存放在OBS桶的作业文件导入到DLF，一次可以导入一个或多个作业。执行本接口之前，需要将作业文件放到OBS的桶中。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和 - [立即执行作业 - RunOnce](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0091.md): 本接口用于立即执行作业，验证作业是否能执行成功。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI - [启动作业 - StartJob](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0092.md): 本接口用于执行调度一个作业。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式POST /v - [查询实时作业运行状态 - ShowJobStatus](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0093.md): 查询指定实时作业的运行状态。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式GET /v1/ - [查询作业实例列表 - ListJobInstances](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0094.md): 查询作业实例列表。对于配置了周期调度或事件触发调度的批处理作业，触发一次运行就会产生一个作业实例。如果实时作业里面包含了配置周期调度或事件触发调度节点，可以通过此接口查询节点所关联的子作业的实例列表，参数jobName格式为[实时作业名称]_[节点名称]。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的 - [查询作业实例详情 - ShowJobInstance](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0095.md): 查询指定作业实例详情信息，包括作业实例内各个节点的执行信息。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略 - [查询系统任务详情 - ListSystemTasks](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0096.md): 本接口用于查询异步任务详情。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式GET /v1/ - [创建脚本 - CreateScript](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0097.md): 创建一个新脚本，当前支持的脚本类型有DLI SQL、Flink SQL、RDS SQL、Spark SQL、Hive SQL、DWS SQL、Shell、Presto SQL、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala SQL。您可以在API Explorer中调试该接 - [修改脚本内容 - UpdateScript](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0098.md): 本接口用以修改脚本的配置项或者脚本内容。修改脚本时，需要指定待修改的脚本名称。脚本名称和脚本类型不支持修改。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。 - [查询脚本信息 - ShowScript](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0099.md): 此接口可以查询指定脚本的定义，包括脚本类型和脚本内容。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。 - [查询脚本列表（待下线） - ListScripts](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0100.md): 查询脚本列表v1接口后续已不再维护，推荐使用查询脚本列表v2接口。此接口用于查询脚本列表，每次查询返回的脚本数量上限是1000个。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要 - [查询脚本实例执行结果 - ListScriptResults](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0101.md): 该接口用于获取脚本实例的执行状态和结果。查询时，需要指定脚本名称和脚本实例ID。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前A - [创建资源 - CreateResource](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0102.md): 创建一个新资源，作业节点类型MRS Spark、MRS MapReduce、DLI Spark可以通过资源引用JAR、properties等文件。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略 - [修改资源 - UpdateResource](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0103.md): 此接口可以修改指定资源，修改时，请指定资源ID。资源类型和资源目录不支持修改。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前AP - [查询资源详情 - ShowResource](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0104.md): 查询资源详情，一个资源包含jar、zip、properties等文件，已经创建的资源在DLI Spark、MRS Spark等作业节点中使用。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权 - [查询资源列表 - ListResources](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0105.md): 查询资源列表。查询时，可指定返回页号和每页的最大记录数。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限 - [查询补数据实例 - ShowFactorySupplementData](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0192.md): 查询补数据实例列表，支持分页查询。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式GET / - [停止补数据实例 - StopFactorySupplementDataInstance](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0193.md): 停止指定的补数据实例。只有补数据实例的状态是运行中，才能停止补数据实例。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用 - [修改作业名称 - UpdateFactoryJobName](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0194.md): 对作业名称进行重命名操作。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式PUT /v2/{ - [查询发布包列表 - ListFactoryReleasePackages](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0195.md): 用于查询发布包的列表信息。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式POST /v2/ - [查询指定发布包详情 - ShowFactoryPackageDetail](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0196.md): 用于查询指定的发布包详情信息。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式GET /v2 - [创建补数据实例 - CreateFactorySupplementDataInstance](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0199.md): 创建一个补数据实例。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式POST /v2/{pr - [设置作业标签 - SetFactoryJobTags](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0201.md): 此接口可以设置作业标签。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式POST /v2/{ - [查询告警通知记录 - ListFactoryAlarmInfo](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0202.md): 此接口可以查询指定时间段内的告警通知记录。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式G - [发布任务包 - DeployFactoryPackages](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0204.md): 目前支持发布包管理中相关包的发布，支持发布多个任务包。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。 - [撤销任务包 - CancelFactoryPackages](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0205.md): 目前支持发布包管理中相关包的撤销，支持撤销多个任务包。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。 - [查询实例运行状态 - ListFactoryTaskOverview](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0206.md): 此接口可以查询实例运行状态，包括当天、昨天、前天以及近7天的实例状态情况。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调 - [查询任务完成情况 - ListFactoryTaskCompletion](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0207.md): 查询任务完成情况。包括今天，昨天以及近7天的平均任务完成情况。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策 - [查询指定作业的实例列表 - ListFactoryJobInstancesByName](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0208.md): 根据作业名称精确查询作业实例列表。您可以在API Explorer中调试该接口，支持自动认证鉴权。账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。如果使用角色与策略授权，具体权限要求请参见权限和授权项。如果使用身份策略授权，当前API调用无需身份策略权限。URI格式GET / - [关系数据库连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0262.md): 通过JDBC连接，可以对以下关系型数据库抽取、加载数据：云数据库 PostgreSQL云数据库 SQL ServerPostgreSQLMicrosoft SQL Server云数据库 PostgreSQL云数据库 SQL ServerPostgreSQLMicrosoft SQL Server - [OBS连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0263.md): 通过OBS连接，可以对对象存储服务（Object Storage Service，简称OBS）抽取或加载文件，支持CSV、JSON和二进制格式。本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 - [HDFS连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0266.md): 通过HDFS连接，可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持CSV、Parquet和二进制格式。 - [HBase连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0267.md): 通过HBase连接，可以对MRS、FusionInsight HD、Apache Hadoop的HBase抽取、加载数据。 - [CloudTable连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0268.md): 通过CloudTable连接，可以对CloudTable服务抽取、加载数据。本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 - [Hive连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0269.md): 通过Hive连接，可以对MRS的Hive数据源进行抽取、加载数据。本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 - [FTP/SFTP连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0270.md): 通过FTP或SFTP连接，可以对FTP或SFTP服务器抽取或加载文件，支持CSV、二进制和JSON格式。FTP和SFTP的连接参数相同。 - [MongoDB连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0271.md): 通过MongoDB连接，可以对MongoDB服务器抽取、加载数据。 - [Redis连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0272.md): 通过Redis连接，可以对Redis服务器抽取或加载数据。 - [Kafka连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0274.md): 通过Kafka连接器可以与开源的Kafka数据源建立连接，并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 - [DIS连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0275.md): 通过DIS连接可以与DIS建立连接，并按照用户指定配置将DIS中的数据迁移到其他数据源。 - [Elasticsearch/云搜索服务(CSS)连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0276.md): 通过Elasticsearch连接，可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 - [DLI连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0277.md): 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。 - [DMS Kafka连接](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0280.md): 通过DMS Kafka连接，可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 - [源端为关系数据库](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0282.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为对象存储](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0283.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为HDFS](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0284.md): HDFS作业参数说明参数是否必选类型说明fromJobConfig.inputDirectory是String待抽取数据的路径，例如：/data_dir。fromJobConfig.inputFormat是枚举传输数据时所用的文件格式，目前支持以下文件格式：CSV_FILE：CSV格式。PARQUET_FILE：PARQUET格式。BIN - [源端为Hive](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0285.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为HBase/CloudTable](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0286.md): HBase/CloudTable作业参数说明参数是否必选类型说明fromJobConfig.table是String需要抽取数据的表名，例如cdm。fromJobConfig.columnFamilies否String抽取数据所属的列族。fromJobConfig.columns否String需要抽取的列，列号之间使用&分割，列族与列之间 - [源端为FTP/SFTP](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0287.md): FTP、SFTP的源端作业参数相同，如表1所示。文件类源端作业参数参数是否必选类型说明fromJobConfig.inputDirectory是String抽取文件的路径。支持输入多个文件路径（最多50个），默认以|分隔，也可以自定义文件分隔符，例如：FROM/example.csv|FROM/b.txt。fromJobConfig.in - [源端为HTTP/HTTPS](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0288.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为MongoDB/DDS](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0289.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为Redis](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0290.md): Redis源端作业参数说明参数是否必选类型说明fromJobConfig.isBatchMigration否Boolean是否为整库迁移。fromJobConfig.keyPrefix是Stringkey前缀，对应关系表的表名。Redis和关系表的映射：用关系表的表名+分隔符来对应Redis的Key；关系表的一行数据对应Redis的Val - [源端为DIS](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0291.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为Kafka](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0292.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [源端为Elasticsearch/云搜索服务](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0293.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为关系数据库](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0296.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为OBS](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0297.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为HDFS](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0298.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为Hive](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0299.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为HBase/CloudTable](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0300.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为DDS](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0302.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为Elasticsearch/云搜索服务](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0304.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为DLI](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0305.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [目的端为DIS](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0306.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [状态码](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0310.md): 状态代码由三位数字组成，第一个数字定义了响应的类别，有五种可能取值：1xx：指示信息，表示请求已接收，继续处理。2xx：成功，表示请求已被成功接收、理解、接受。3xx：重定向，要完成请求必须进行更进一步的操作。4xx：客户端错误，请求有语法错误或请求无法实现。5xx：服务器端错误，服务器未能实现合法的请求。1xx：指示信息，表示请求已接收 - [数据集成API错误码](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0311.md): 调用API出错后，将不会返回结果数据。调用方可根据每个API对应的错误码来定位错误原因。当调用出错时，HTTP请求返回一个4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时，可以联系客服，并提供错误码，以便尽快帮您解决问题。异常响应样例{ "errCode" : "Cdm.0100", - [数据开发API错误码](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0313.md): 错误响应消息格式如下：错误码如表1所示。 - [解析响应消息体中的流](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0317.md): 导出作业和导出连接的接口响应消息是一个流，需要转化为一个文件。您可以参考下面的样例代码： - [公共消息头](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0318.md): 公共请求消息头如表1所示。公共响应消息头如表2所示。 - [权限及授权项说明](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0321.md): 如果您需要对您所拥有的DataArts Studio进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），如果华为账号所具备的权限功能已经能满足您的要求，您可以跳过本章节，不影响您使用DataArts Studio服务的其他功能。通过IAM，您可以通过授权控制主体（IA - [管理中心API错误码](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0334.md): 错误响应消息格式如下：错误码如表1所示。 - [实例ID和工作空间ID](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0350.md): 实例DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提供给用户，用户可以同时创建多个DataArts Studio实例，并分别管理和访问每个DataArts Studio实例。每个DataArts Studio实例具有用户指定的基础计算资源，包含管理中心、 - [数据资产guid](https://support.huaweicloud.com/api-dataartsstudio/dataartsstudio_02_0351.md): 每个业务资产、技术资产或指标资产都具备guid，guid是资产的唯一标识符。在调用数据目录或数据地图接口时，部分URI中需要填入guid。资产guid可通过相应查询接口获取，也可以通过控制台获取，推荐您通过相应查询接口获取。控制台获取操作相对复杂，如下所示，为您介绍如何通过控制台获取guid资产：在DataArts Studio控制台首页 - [作业任务参数说明](https://support.huaweicloud.com/api-dataartsstudio/job_parameter.md): 在指定集群创建作业或者随机集群创建作业并执行时，由driver-config-values参数指定作业任务配置，包含如下功能：作业失败重试：如果作业执行失败，可选择是否自动重新启动作业。作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。是否定时执行：可选择作业是否定时自动启动。抽 - [构造请求](https://support.huaweicloud.com/api-dataartsstudio/making_request.md): 本节介绍REST API请求的组成，并以调用IAM服务的管理员创建IAM用户接口为例说明如何调用API。该API用于管理员创建IAM用户。您还可以通过这个视频教程了解如何构造请求调用API：https://bbs.huaweicloud.com/videos/102987 。请求URI由如下部分组成：{URI-scheme}://{End - [项目ID和账号ID](https://support.huaweicloud.com/api-dataartsstudio/projectid_accountid.md): 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。注册并登录管理控制台。在用户名的下拉列表中单击我的凭证。在API凭证页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。注册并登录管理控制台。在用户名的下 ## SDK参考 - [SDK概述](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_0001.md): DataArts Studio服务软件开发工具包（DataArts StudioSDK，DataArts StudioService Software Development Kit），目前提供了REST API SDK包和数据服务SDK包两种开发包，功能和差异如表1所示，您可以根据您的使用场景进行选择。如果您需要了解SDK的隐私数据处理 - [REST API SDK参考](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_0002.md): 本章节介绍了如何在API Explorer通过DataArts Studio API在线生成SDK代码，以及如何获取DataArts Studio服务的REST API SDK包和参考文档。当前DataArts Studio服务的API Explorer接口和REST API SDK包支持如下组件：数据集成（注册在云数据迁移CDM服务）数 - [数据服务SDK概述](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1001.md): 本文档指导API调用者通过数据服务SDK代码调用数据API，当前数据服务SDK代码仅支持调用API场景。数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例，即可进行数据服务中数据API的调用，帮助开发者简单、快速地通过数据API获取到开放数据。数据API是否必须通过数 - [认证前准备](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1003.md): 通过SDK调用API前，需要获取如下认证信息：访问服务前，首先需要得到API的ID、请求URL和请求方法在数据服务的API目录页面，单击API名称，在完整信息页面查看API的ID、请求URL和请求方法。API基础定义在数据服务的API目录页面，单击API名称，在完整信息页面查看API的ID、请求URL和请求方法。对于APP认证的API，您 - [Java](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1004.md): 使用Java语言调用APP认证的API时，您需要先获取SDK，然后新建工程或导入工程，最后参考调用API示例调用API。本章节以Eclipse 4.5.2版本为例介绍。已获取API的域名、ID、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。已安装Eclipse 3.6.0或以上版本，如果未安装，请至Ec - [Go](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1005.md): 使用Go语言调用APP认证的API时，您需要先获取SDK，然后新建工程，最后参考调用API示例调用API。本章节以IntelliJ IDEA 2018.3.5版本为例介绍。已获取API的域名、ID、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。获取并安装Go安装包，如果未安装，请至Go官方网站下载。获取 - [Python](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1006.md): 使用Python语言调用APP认证的API时，您需要先获取SDK，然后新建工程，最后参考调用API示例调用API。本章节以IntelliJ IDEA 2018.3.5版本为例介绍。已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。获取并安装Python安装包（可使用2.7.9+或3.X） - [C#](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1007.md): 使用C#语言调用APP认证的API时，您需要先获取SDK，然后打开SDK包中的工程文件，最后参考API调用示例调用API。已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。获取并安装Visual Studio，如果未安装，请至Visual Studio官方网站下载。命令执行结果示例，如下 - [JavaScript](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1008.md): 使用JavaScript语言调用APP认证的API时，您需要先获取SDK，然后新建工程，最后参考API调用示例调用API。本章节以IntelliJ IDEA 2018.3.5版本、搭建Node.js开发环境为例介绍。已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。获取并安装Nodejs - [PHP](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1009.md): 使用PHP语言调用APP认证的API时，您需要先获取SDK，然后新建工程，最后参考调用API示例调用API。本章节以IntelliJ IDEA 2018.3.5版本为例介绍。已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。获取并安装IntelliJ IDEA，如果未安装，请至Intel - [C++](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1010.md): 使用C++语言调用APP认证的API时，您需要先获取SDK，参考调用API示例调用API。已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。安装openssl库。apt-get install libssl-dev安装curl库。apt-get install libcurl4-open - [C](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1011.md): 使用C语言调用APP认证的API时，您需要先获取SDK，参考API调用示例调用API。已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。安装openssl库。apt-get install libssl-dev安装curl库。apt-get install libcurl4-openss - [Android](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1012.md): 使用Android语言调用APP认证的API时，您需要先获取SDK，然后新建工程，最后参考调用API示例调用API。已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。获取并安装Android Studio，如果未安装，请至Android Studio官方网站下载。命令执行结果示例，如下所 - [curl](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1013.md): 使用curl命令调用APP认证的API时，您需要先下载JavaScript SDK生成curl命令，然后将curl命令复制到命令行调用API。已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。命令执行结果示例，如下所示：对比所下载SDK包的SHA256值和下表中对应语言SDK包的SHA2 - [其他编程语言](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1014.md): 构造规范请求。将待发送的请求内容按照与API网关后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。将待发送的请求内容按照与API网关后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。使用规范请求和其他信息创建待签字符串。使用AK/SK和待签字符串计算签名。将生成的签名信息作为请求消息头添 - [SDK调用常见错误码/错误信息](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1015.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [SDK使用前准备](https://support.huaweicloud.com/sdkreference-dataartsstudio/dataartsstudio_06_1016.md): 登录DataArts Studio控制台。单击“数据服务”模块。单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。单击SDK使用引导区域里对应语言的SDK，下载SDK包到本地。进行SDK包完整性校验。Windows操作系统下，打开本地命令提示符窗口，输入如下命令，在本地生成已下载SDK包的SHA256值，其中，“D:\java- ## CLI参考 - [CLI命令参考](https://support.huaweicloud.com/clir-dataartsstudio/dataartsstudio-cli.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [如何使用CLI](https://support.huaweicloud.com/clir-dataartsstudio/dataartsstudio_08_0001.md): 华为云命令行工具服务（Koo Command Line Interface，KooCLI，原名HCloud CLI）是为发布在API Explorer上的云服务API提供的命令行管理工具。您可以通过此工具调用API Explorer中DataArts Studio开放的API，管理和使用您的DataArts Studio资源。关于KooC ## 常见问题 - [数据库、数据仓库、数据湖与华为智能数据湖方案是什么，有哪些区别和联系？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0004.md): 如今随着互联网以及物联网等技术的不断发展，越来越多数据被生产出来，数据管理工具也得到了飞速的发展，大数据相关概念如雨后春笋一般应运而生，如从数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么，又有着怎样的联系，同时，华为对应的产品与方案又是什么呢？本文将一一进行对比介绍。数据库是“按照数据结构来组织、存储和管理数据的仓库”。广义 - [数据架构支持哪些数据建模方法？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0005.md): 数据架构的数据建模方法有哪些。DataArts Studio数据架构支持的建模方法有以下三种：关系建模关系建模是用实体关系（Entity Relationship，ER）模型描述企业业务，它在范式理论上符合3NF，出发点是整合数据，将各个系统中的数据以整个企业角度按主题进行相似性组合和合并，并进行一致性处理，为数据分析决策服务，但是并不能 - [规范化的数据如何使用？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0006.md): 规范化的数据使用场景需要说明下。规范化的数据可以作为BI的基本信息，也可以作为上层应用的源数据，也可以接入各类数据可视化报表等。 - [数据架构支持逆向数据库吗？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0007.md): 数据架构是否支持逆向数据库。数据架构支持逆向数据库。 - [DataArts Studio支持连接哪些数据源？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0008.md): DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务，也支持对接如MySQL、Oracle等传统数据库，支持程度各有不同，详情请参见DataArts Studio支持的数据源章节。DataArts Studio对接数据源，即为通过管理中心创建数据源的数据连接。DataArts Studio管理中心数据连接与数据 - [创建数据连接需要注意哪些事项？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0009.md): RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS，则不支持RDS数据连接。主机连接当前仅支持Linux系统主机。当所连接的数据湖发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。数据连接中的数据湖认证信息如果发生变化（如密码过期）时，此连接会失效。建议您将数据湖认证信息设定为永久有效， - [数据目录支持采集哪些对象的资产？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0010.md): 数据目录目前支持采集数据湖的资产，例如MRS Hive、DLI、DWS等，除此之外也支持采集以下数据源的元数据：关系型数据库，如MySQL/PostgreSQL等（可使用RDS类型连接，采集其元数据）云搜索服务CSS图引擎服务GES对象存储服务OBSMRS Hudi组件（MRS Hudi作为一种数据格式，元数据存放在Hive中，操作通过S - [什么是数据血缘关系？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0011.md): 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的 - [数据服务SDK支持的语言？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0012.md): 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例，即可进行数据服务中数据API的调用，帮助开发者简单、快速地通过数据API获取到开放数据。数据服务SDK支持的语言有：C#、Python、Go、JavaScript、PHP、C++、C、Android、Java等，详见 - [DataArts Studio和ROMA有什么差异？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0013.md): 从数据运营方案（数据中台）的数据集成、数据治理以及数据开放三层结构来看，DataArts Studio和ROMA主要差别在于数据治理方面：ROMA作为连接各个系统的管道，对接入数据没有治理和规划的功能。DataArts Studio支持对接入数据进行结构分析，重新建模，最终打破数据孤岛，帮助企业建立统一数据模型。ROMA作为连接各个系统的 - [DataArts Studio和沃土是什么关系？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0014.md): 华为沃土数字平台是使能行业客户数字化转型的平台参考架构。以云为基础，通过优化整合新ICT技术，融合数据，使能客户实现业务协同与敏捷创新。DataArts Studio作为沃土平台数据使能模块，帮助接入沃土数字平台的企业更好地管理使用数据。 - [DataArts Studio是否支持私有化部署到本地或私有云？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0015.md): DataArts Studio必须基于华为云底座部署。资源隔离场景下，支持以全栈专属云模式部署，另外也支持以华为云Stack和HCS Online混合云模式部署。关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息，欢迎通过咨询了解。 - [DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0016.md): 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。建议您通过以下措施解决此问题：是，将CDM集群开机后，确认管理中心的数据连接恢复正常。否，跳转至步骤2。是，您可以错开数据迁移作业和管理中心连接代理的使用时间，或再创建CDM集群，与原有CDM集群分开使用。否，跳转至步骤3。 - [为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0017.md): 出现该问题的可能原因有：创建MRS集群时未选择Hive/HBase组件。创建MRS集群时所选择的企业项目与工作空间的企业项目不同。创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。CDM集群作为网络代理，与MRS集群需网络互通才可以成功创建基于MRS的数据连接。创建MRS集群时未选择Hive/HBase组件。创建MRS集群时所 - [可以免费试用DataArts Studio吗？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0019.md): 目前DataArts Studio提供免费版试用途径。免费版定位于试用场景，相比初级版不自带CDM集群，而是首次购买时赠送36小时CDM集群折扣套餐；另外在配额上有所限制。但免费版不限制使用时长，可以长期使用。您可以参考购买DataArts Studio基础包，直接购买DataArts Studio免费版。使用免费版注意事项：免费版不自带 - [免费试用即将到期，如何续费？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0025.md): 当免费试用的DataArts Studio实例即将到期时，您可以购买DataArts Studio实例以继续使用。您可以登录DataArts Studio控制台，找到即将到期的免费试用的DataArts Studio实例，在试用的DataArts Studio实例上单击购买DataArts Studio实例进行购买。购买DataArts - [是否支持字段转换？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0028.md): 支持，CDM支持以下字段转换器：脱敏去前后空格字符串反转字符串替换表达式转换在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。新建字段转换器隐藏字符串中的关键信息，例如要将12345678910转换为123****8910，则配置如下：起始保留长度为3。结尾保留长度为4。替换字符为*。起始保留长度为3。结尾保留长度为4。 - [数据源为Hive时支持哪些数据格式？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0029.md): 云数据迁移服务，数据源为Hive时支持的数据格式有哪些？云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 - [是否支持同步作业到其他集群？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0030.md): CDM是否支持同步作业到其他集群？CDM虽然不支持直接在不同集群间迁移作业，但是通过批量导出、批量导入作业的功能，可以间接实现集群间的作业迁移，方法如下：将CDM集群1中的所有作业批量导出，将作业的JSON文件保存到本地。由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用Add password here替换。在本地编辑JS - [是否支持批量创建作业？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0031.md): CDM是否支持批量创建作业？CDM可以通过批量导入的功能，实现批量创建作业，方法如下：手动创建一个作业。导出作业，将作业的JSON文件保存到本地。编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。将JSON文件导入CDM集群，实现批量创建作业。您也可以参考通过CDM算子批量创建分表迁移作业，配合For Each算子， - [如何备份CDM作业？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0032.md): 如何备份CDM作业？用户可以先通过CDM的批量导出功能，把所有作业脚本保存到本地，在需要的时候再重新创建集群、重新导入作业，实现作业备份。 - [如何将云下内网或第三方云上的私网与CDM连通？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0033.md): 很多企业会把关键数据源建设在内网，例如数据库、文件服务器等。由于CDM运行在云上，如果要通过CDM迁移内网数据到云上的话，可以通过以下几种方式连通内网和CDM的网络：如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可 - [CDM是否支持参数或者变量？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0034.md): CDM是否支持参数或者变量？支持。如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 - [数据开发可以创建多少个作业，作业中的节点数是否有限制？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0036.md): 数据开发中，该模块支持创建作业数量和作业中的节点数是否有限制。目前默认每个用户最多可以创建10000个作业，每个作业建议最多包含200个节点。另外，系统支持用户根据实际需求调整最大配额。如有需求，请提交工单进行申请。 - [ClickHouse作为源端时，在运行过程中报异常“ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002, host: xxx failed to respond”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0038.md): 在数据集成离线作业中，使用ClickHouse作为数据源，数据连接配置的驱动版本为0.3.1。在运行过程中，出现异常“ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002, host: xxx failed to r - [数据迁移时，源端数据库与目的端数据库中的Double、Float等浮点类型数据为什么存在精度差异？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0039.md): 数据集成离线作业中，进行数据迁移时，源端数据库与目的端数据库中的Double、Float等浮点类型数据存在精度差异。该问题源于不同数据库系统对浮点类型底层实现机制及精度定义的差异，并非数据集成服务本身存在数据丢失或错误。具体原因如下：浮点类型的本质是非精确。Float（单精度）、Double（双精度）等类型属于非精确数值类型。它们在计算机 - [作业关联的CDM集群删除后，如何快速修复？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0040.md): 作业关联的CDM集群已删除。CDM集群被删除后，作业中的关联信息会保留原配置。用户只需在CDM中新建同名集群和作业，作业将使用新的同名CDM集群和作业，同时提示用户原CDM集群和作业将被替代。限制条件：该功能于1.7.3版本（上线时间：2018-10-24）实现，此前已创建的作业如需使用该功能，请重新保存作业。 - [作业的计划时间和开始时间相差大，是什么原因？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0041.md): 如图所示，在作业实例监控页面查看作业运行记录时，发现作业的计划时间和开始时间相差较大。其中计划时间是作业预期开始执行的时间，即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。这是因为在数据开发中，单个作业最多允许5个实例并行执行，如果作业实际执行时间大于作业配置的调度周期，会导致后面批次的作业实例堆积，从而出现上述问题。出现上 - [相互依赖的几个作业，调度过程中某个作业执行失败，是否会影响后续作业？这时该如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0042.md): 相互依赖的几个作业，调度过程中某个作业执行失败。这种情况会影响后续作业，后续作业可能会挂起，继续执行或取消执行。这时请勿停止作业，您可以将失败的作业实例进行重新运行，或者将异常的实例停止再重新运行。失败实例成功后，后续作业会继续正常运行。如果不通过数据开发，手动将作业实例中的业务场景处理后，可以强制成功作业实例，后续作业也会继续正常运行。 - [为什么运行静态脱敏任务后却没有按照规则脱敏？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0045.md): 静态脱敏任务依赖于敏感数据发现任务。如果未在“敏感数据分布”页面中修正敏感数据字段的数据状态为“有效”，则系统会认为表中无敏感字段，也就不会按照规则进行脱敏。创建静态脱敏任务前，必须先创建敏感数据发现任务，并在运行成功发现敏感字段后，在“敏感数据分布”页面中修正敏感数据字段的数据状态为“有效”。 - [启用细粒度认证时，DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0046.md): 当前用户未同步至DWS数据源，或者不具备DWS Database Access权限。您可以通过同步用户重新将当前登录用户同步到DWS数据源，然后为其授予DWS Database Access权限，再次进行联通性测试。 - [审批DWS权限申请时提示“缺少必要的请求参数”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0047.md): 此报错一般是因为授权对象未同步到DWS数据源引起的。您可以通过同步用户，重新将授权对象同步到DWS数据源，然后再次尝试审批申请。 - [打不开作业日志，返回404报错？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0050.md): 作业日志打不开，可能权限不足。作业日志在OBS桶中存储，您需要先在工作空间中配置作业日志的桶目录，然后确认当前账户是否具有OBS读权限（可以通过检查IAM中OBS权限、OBS桶策略来确认）。OBS路径仅支持OBS桶，不支持并行文件系统。修改工作空间的用户账号，需要满足如下任一条件：DAYUAdministrator或Tenant Admi - [配置委托时获取委托列表失败如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0051.md): 当配置工作空间级或者作业级委托，查看委托列表时，报错信息如“Policy doesn't allow iam:agencies:listAgencies to be performed.”，可能是权限不足引起的。则需要使用账号给当前用户添加“查看委托列表”的权限。先创建自定义策略（查询指定条件下的委托列表），再通过给用户组授予自定义策略来 - [区域和可用区如何选择？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0052.md): 我们用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属R - [购买DataArts Studio实例时为什么选不到指定的IAM项目？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0053.md): 请确认当前账户是否有开通企业项目。企业项目和IAM项目是互斥的，开通企业项目后，只能在企业项目下购买DataArts Studio实例，且一个企业项目下只能购买一个DataArts Studio实例。 - [DWS数据连接开启SSL时测试连接失败怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0054.md): 可能是由于DWS集群的三权分立功能导致的。请在DWS控制台，单击进入对应的DWS集群后，选择“安全设置”，然后关闭三权分立功能。关闭DWS集群三权分立功能 - [为什么会提示每日执行节点个数超过上限，应该怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0055.md): 每日执行节点个数即DataArts Studio不同实例版本中的作业节点调度次数/天配额，各版本配额差异可参见如何选择DataArts Studio版本。当每日作业节点调度的已使用次数+运行中次数+本日将运行次数之和达到配额时，将会提示每日执行节点个数超过上限。每日执行节点个数超过上限，一般是由于作业调度过于频繁导致的。为您推荐两种处理方 - [数据开发创建数据连接，为什么选不到指定的周边资源？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0056.md): 数据开发创建数据连接，选不到指定的周边资源，可能是由于不在同一个Region下。请确认当前DataArts Studio实例与周边资源在同一个Region且在同一个IAM项目下。如果账户开通企业项目，则还需在同一个企业项目下。 - [配置了SMN通知，却收不到作业失败告警通知？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0057.md): 配置了SMN通知，作业失败告警通知没有收到。如图，在运维调度通知管理中配置了作业异常/失败的SMN通知，但却收不到作业失败的告警通知。此时可按以下步骤依次排查： - [作业配置了周期调度，但是实例监控没有作业运行调度记录？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0058.md): 作业配置了周期调度，但是实例监控没有作业运行调度记录。可能原因是作业未启动调度或者依赖作业未执行完成。在运维调度作业监控界面确认作业的调度状态是否是调度中，只有调度中的作业到了调度周期后才会调度。查看作业调度状态如果作业有依赖于其他作业，在运维调度 > 实例监控界面，查看依赖作业的运行状态。如果作业有自依赖，扩大搜索时间窗口，查看是否当前 - [Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0059.md): Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因，可能是由于连接方式导致的。请确认当前Hive SQL和Spark SQL脚本使用的数据连接为“MRS API连接”还是“通过代理连接”。“MRS API连接”模式下DataArts Studio通过API把脚本提交给MRS，然后查询是否执行完成； - [数据开发节点运行中报TOKEN不合法？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0060.md): 数据开发节点运行中报TOKEN不合法。请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组，或者用户所在的用户组权限策略是否有变更？如果有变更，请重新登录即可解决。 - [用户已添加权限，还是无法查看工作空间？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0061.md): DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常，IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色，另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间 - [作业开发时，测试运行后如何查看运行日志？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0062.md): 作业开发时，测试运行后不知道如何查看运行日志。方式1：待节点测试运行完成后，在当前节点鼠标右键选择查看日志。方式2：通过画布上方的“前往监控”，在实例监控中展开作业实例，查看节点日志。 - [月周期的作业依赖天周期的作业，为什么天周期作业还未跑完，月周期的作业已经开始运行？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0063.md): 月周期的作业依赖天周期的作业，依赖的是上个月的天周期作业是否全部运行完成，周期调度依赖原理的理解有误导致的。如下图，月周期的作业依赖天周期的作业。为什么在天周期的作业还未跑完，月周期的作业已经开始运行？事实上，月周期的作业依赖天周期作业指的是当月的月周期作业是否运行取决于上月的天周期作业是否全部运行完成，而不是由当月的天周期作业决定。例如 - [执行DLI脚本，报Invalid authentication怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0065.md): 执行DLI脚本，提示报错信息Invalid authentication，可能是由于权限不足引起的。请确认当前用户在IAM中是否具有DLI Service User或者DLI Service Admin权限。 - [创建数据连接时，在代理模式下为什么选不到需要的CDM集群？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0066.md): 创建数据连接时，在代理模式下选不到需要的CDM集群，可能是由于CDM集群关机。请确认CDM集群是否被关机。如果关机，请重新启动。 - [启用细粒度认证后，在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0067.md): 数据开发用户不具备DWS Database Access权限。为数据开发用户添加DWS Database Access权限后，再次尝试选择数据库。 - [为什么权限同步到DLI中，会提示权限不够？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0068.md): 权限同步到DLI的任务通过云服务委托（dlg_agency）完成，因此需要委托拥有IAM认证服务相关权限，具体所需权限如表1所示。如出现此提示，可参考如下示例完成委托授权（本例以授予系统权限为例）：登录IAM控制台。在统一身份认证服务左侧导航窗格中，单击“委托”。在搜索框中，搜索“dlg_agency”，找到dlg_agency委托项，单 - [是否支持增量迁移？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0069.md): CDM是否支持增量迁移？CDM支持增量数据迁移。利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移：文件增量迁移关系数据库增量迁移HBase/CloudTable增量迁移详情请参见增量迁移。 - [为什么DWS敏感数据发现任务，实例运行失败的日志提示“import jar to dws failed”](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0070.md): DWS敏感数据发现任务，实例运行失败的日志提示“import jar to dws failed”。HTAP的DWS集群不支持UDF相关的函数，因此数据安全的检测UDF自定义函数无法导入DWS。使用OLAP的DWS集群进行敏感数据发现任务。使用DWS管理面的SQL编辑器或者在数据开发的DWS SQL脚本中执行命令：select gs_ex - [Oracle迁移到DWS报错ORA-01555](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0071.md): 使用CDM迁移Oracle数据至DWS，报错图1所示。数据迁移，整表查询且该表数据量大，那么查询时间较长。查询过程中，其他用户频繁进行commit操作。Oracle的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。调小每次查询的数据量。通过修改数据库配置调大Oracle的RBS。 - [MongoDB连接迁移失败时如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0072.md): MongoDB连接迁移失败时如何处理？在默认情况下，userAdmin角色只具备对角色和用户的管理，不具备对库的读和写权限。当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。 - [如何在IAM中创建细粒度权限策略？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0074.md): 当前DataArts Studio不支持在IAM中创建细粒度权限策略。推荐通过DAYU策略+工作空间角色的方式进行权限控制，您可以通过自定义角色进行更精细化的权限管理。DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常，IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或 - [码表和数据标准有什么关系？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0076.md): 码表和数据标准的关系是什么。码表由多条表字段的名称+编码+数据类型组成，码表的表字段可以关联到数据标准上，数据标准会应用到某张模型表的字段上。 - [关系建模和维度建模的区别？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0077.md): 关系建模和维度建模的区别是什么。关系建模为事务性模型，对应三范式建模。维度建模为分析性模型，主要包括事实表、维度表的设计，多用于实现多角度、多层次的数据查询和分析。DataArts Studio是基于数据湖的数据运营平台，维度建模使用的场景比较多。 - [数据目录组件有什么用？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0078.md): 数据目录的核心是通过元数据采集任务，采集并展示企业在工作空间范围内的数据资产地图，包括元数据信息和数据血缘关系。元数据管理元数据管理模块是数据湖治理的基石，支持创建自定义策略的采集任务，可采集数据源中的技术元数据。支持自定义业务元模型，批量导入业务元数据，关联业务和技术元数据、全链路的血缘管理和应用。元数据管理模块是数据湖治理的基石，支持 - [数据目录如何可视化展示数据血缘？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0079.md): 数据血缘在数据目录中展示，首先要完成元数据采集任务，其次数据开发作业中要包含支持自动血缘解析的节点类型和场景，或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时，系统会生成作业中的血缘关系，并在数据目录中进行可视化展示。数据血缘的生成和展示，详情请参见节点数据血缘。 - [DataArts Studio的会话超时时间是多少，是否支持修改？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0080.md): 会话超时时间指的是如果用户超过该时长未操作界面，会话将会失效，需要重新登录。会话超时策略可以在IAM服务进行设置，如图所示。会话超时策略默认开启，不能关闭，管理员可以设置会话超时的时长，会话超时时长默认为1个小时，可以在15分钟~24小时之间进行设置，该策略对账号以及账号下的IAM用户都生效。 - [如何确认质量作业或对账作业已经阻塞？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0082.md): 质量作业或对账作业运行阻塞，不清楚如何确认阻塞。作业运行状态长时间处于运行中时，选择“运维管理”，单击操作栏中的“结果&日志”并选择查看“运行日志”，当“运行日志”不再更新，表示作业已经阻塞。 - [如何手工重启阻塞的质量作业或对账作业？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0083.md): 质量作业或对账作业运行阻塞。阻塞的作业需要进行手工重启，如不重启1天内也会因作业超时自动结束该作业。手工重启需要选择“运维管理”，先单击对应作业操作栏中的“取消”，作业运行状态变更为“失败”，此时然后单击操作栏中的“重跑”即可完成作业重启。 - [怎样查看质量规则模板关联的作业？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0085.md): 质量规则模板关联的作业不清楚如何查看。 - [套餐包到期未续订或按需资源欠费时，我的数据会保留吗？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0086.md): 云服务进入宽限期/保留期后，华为云将会通过邮件、短信等方式向您发送提醒，提醒您续订或充值。保留期到期仍未续订或充值，存储在云服务中的数据将被删除、云服务资源将被释放。宽限期：指客户的包年/包月资源到期未续费、或因余额不足而扣款失败导致欠费时，华为云提供给客户进行续费、还款的时间，宽限期内您无法正常使用部分按需资源，且禁止开通新业务。保留期 - [DataArts Studio是否支持版本降级？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0087.md): 已创建的DataArts Studio实例，不支持直接降级版本。您可以通过创建新版本实例、迁移实例数据、退订旧版本实例的方式，间接降级版本。 - [质量作业和对账作业有什么区别？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0088.md): 质量作业和对账作业的区别不清楚，需要说明下。质量作业可将创建的规则应用到建好的表中进行质量监控。对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。数据对账对于数据开发和数据迁移 - [一个空间可以创建同一数据源的多个连接吗？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0089.md): 工作空间内允许创建多个同一数据源的连接，但是连接的名字不能相同。需要注意的是，为便于后续开发过程中选择到正确的数据连接，建议您为连接做好命名区分，避免出现混淆。 - [创建API时提示代理调用失败，怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0090.md): 数据连接中的CDM代理异常，例如内存占用过高等。短期内建议您在空余时间对CDM集群进行重启，长期措施需降低CDM集群的工作负载。 - [如何查看套餐包的剩余时长？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0091.md): 套餐包的剩余时长需要在官网查询。您可以进入华为云官网，在用户名下拉列表中选择“费用中心”，然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 - [用户在执行质量作业时提示无MRS权限怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0092.md): 用户在执行质量作业时报错，查看质量作业的日志，提示“ The current user does not exist on MRS Manager. Grant the user sufficient permissions on IAM and then perform IAM user synchronization on the D - [Hive迁移作业长时间卡顿怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0093.md): Hive迁移作业长时间卡顿怎么办？为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置：属性名称：hive.server2.idle.operation.timeout值：10m如图所示： - [如何降低CDM使用成本？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0099.md): 如果是迁移公网的数据上云，可以使用NAT网关服务，实现CDM服务与子网中的其他弹性云服务器共享弹性IP，可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。具体操作如下：假设已经创建好了CDM集群（无需为CDM集群绑定专用弹性IP），记录下CDM集群所在的VPC和子网。创建NAT网关，注意选择和CDM集群相同的VP - [是否支持批量调度作业？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0100.md): CDM是否支持批量调度作业？支持。访问DataArts Studio服务的数据开发模块。在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”，新建作业。拖动多个CDM Job节点至画布，然后再编排作业。 - [如何使用Java调用CDM的Rest API创建数据迁移作业？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0101.md): CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。需要提前准备以下数据：云账号的用户名、账号名和项目ID。创建一个CDM集群，并获取集群ID。获 - [日志提示解析日期格式失败时怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0102.md): 在使用CDM迁移其他数据源到云搜索服务（Cloud Search Service）的时候，作业执行失败，日志提示Unparseable date，如图1所示。日志提示信息云搜索服务对于时间类型有一个特殊处理：如果存储的时间数据不带时区信息，在Kibana可视化的时候，Kibana会认为该时间为GMT标准时间。在各个地区会产生日志显示时间与 - [字段映射界面无法显示所有列怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0103.md): 在使用CDM从HBase/CloudTable导出数据时，在字段映射界面HBase/CloudTable表的字段偶尔显示不全，无法与目的端字段一一匹配，造成导入到目的端的数据不完整。由于HBase/CloudTable无Schema，每条数据的列数不固定，在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列，此时作业执行完后会造 - [CDM迁移数据到DWS时如何选取分布列？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0104.md): CDM迁移数据到DWS时如何选取分布列？在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA，且CDM在DWS端自动创建一个新表时，在创建作业的字段映射界面，需要选择分布列，如图1所示。由于分布列的选取，对于DWS/FusionInsight LibrA的运行非常重要，在CDM数据迁移到DWS/Fusio - [迁移到DWS时出现value too long for type character varying怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0105.md): 在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA时，如果迁移作业失败，且执行日志中出现value too long for type character varying错误提示，如图1所示。这种情况一般是在迁移到DWS时数据有中文，且创建作业时选择了目的端自动建表的情况下。原因是DWS的varchar - [OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0106.md): 使用CDM从OBS导入数据到SQL Server时，作业运行失败，错误提示为：Unable to execute the SQL statement. Cause : 将截断字符串或二进制数据。用户OBS中的数据超出了SQL Server数据库的字段长度限制。在SQL Server数据库中建表时，将数据库字段改大，长度不能小于源端OBS中 - [Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0107.md): 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 - [获取集群列表为空/没有权限访问/操作时报当前策略不允许执行？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0108.md): 在使用CDM时，可能遇到如下权限相关的问题：跳转到CDM首页，获取到的集群列表为空。提示没有权限访问，如图1所示。执行启动作业/重启集群等操作时，报错当前策略不允许执行，如图2所示。以上所列的问题均属于权限配置问题。如果是作为DataArts Studio服务CDM组件使用：检查用户是否添加DAYU Administrator或DAYU - [使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0109.md): 在使用CDM迁移数据到数据仓库服务（DWS）时，迁移作业失败，且执行日志中出现“value too long for type character varying”错误提示。这种情况一般是源表与目标表类型不匹配导致，例如源端dli字段为string类型，目标端dws字段为varchar(50)类型，导致精度缺失，就会报：value too - [MySQL迁移时报错“JDBC连接超时”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0110.md): MySQL迁移时报错：Unable to connect to the database server. Cause: connect timed out。这种情况是由于表数据量较大，并且源端通过where语句过滤，但并非索引列，或列值不离散，查询会全表扫描，导致JDBC连接超时。例如图1所示c_date字段为非索引列。优先联系DBA修改 - [作业配置了每日调度，但是实例没有作业运行调度记录？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0111.md): 作业配置了每日调度，但是实例没有作业运行调度记录。原因1：确认作业是否启动调度，如果没有启动，不会进行调度。原因2：实例查询时间区间过大，如果配置有依赖作业或者自依赖，查看历史作业实例是否因为依赖失败，导致等待运行，没有生成新作业实例。配置作业失败异常告警通知，以及实例超时时间，当等待时间超过实例超时时间，系统将发送告警通知。 - [查看作业日志，但是日志中没有内容？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0112.md): 查看作业日志，日志中没有内容。已在工作空间中配置作业日志的桶目录的前提下，确认用户在IAM中的OBS权限是否具有对象存储服务（OBS）的全局权限，保证用户能够创建桶和操作桶。方式1：用户在对象存储OBS中创建以“dlf-log-{projectID}”命名的桶，并将操作权限赋予调度用户。OBS路径仅支持OBS桶，不支持并行文件系统。方式2 - [创建了2个作业，但是为什么无法建立依赖关系？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0113.md): 创建2个作业，但是无法建立依赖关系。查看所创建的2个作业的调度周期，确认这2个作业是否均为周调度作业或者月调度作业。目前不支持同周期调度，即周依赖周或者月依赖月的作业，不支持建立依赖关系。如果这2个作业是周依赖周或者月依赖月的作业，可以把这2个作业放到同一个画布中再运行。 - [DataArts Studio执行调度时，报错提示“作业没有可以提交的版本”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0114.md): DataArts Studio执行调度时报错“作业没有已提交的版本”，请先提交作业版本。该作业还没有提交版本，就开始执行调度，导致执行调度报错。作业执行调度前必须保证作业存在一个版本。提交作业（不是脚本）版本。执行作业调度。提交版本 - [DataArts Studio执行调度时，报错提示“作业中节点XXX关联的脚本没有提交的版本”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0115.md): DataArts Studio执行调度时报错：作业中节点XXX关联的脚本没有提交的版本。该作业内的脚本还没有提交版本，就开始执行调度，导致执行调度报错。作业调度前必须保证作业内脚本都存在一个版本。切换到脚本开发，找到对应脚本。提交脚本版本。执行作业调度。 - [提交调度后的作业执行失败，报depend job [XXX] is not running or pause怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0116.md): 提交调度后的作业执行失败，报depend job [XXX] is not running or pause。该问题是由于上游依赖作业不在运行状态而造成。查看上游依赖作业，如果上游依赖的作业不在运行状态中，将这些作业重新执行调度即可。 - [如何解决HANA集群只有部分节点和CDM集群网络互通？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0119.md): HANA集群只有部分节点和CDM集群网络互通，怎么办？如果HANA集群只有部分节点和CDM网络互通，为确保CDM正常连接HANA集群，则需要进行如下配置：关闭HANA集群的Statement Routing开关。但须注意，关闭Statement Routing，会增加配置节点的压力。新建HANA连接时，在高级属性中添加属性“distrib - [创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0121.md): 创建了Hive到DWS类型的连接，进行CDM传输任务失败。建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据，然后再做迁移，可大大降低任务失败的概率。 - [如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0122.md): 如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？CDM服务暂不支持该操作，建议通过手动导出MySQL的数据文件，然后在服务器上开启SFTP服务，然后新建CDM作业，源端是SFTP协议，目的端是OBS，将文件传过去。 - [如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0123.md): CDM从OBS迁移数据到DLI出现迁移中断失败。此类作业问题表现为配置了脏数据写入，但并无脏数据。这种情况下需要调低并发任务数，即可避免此类问题。 - [CDM不同集群规格对应并发的作业数是多少？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0124.md): CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。CDM依次将Task提交给运行池运行。根据集群配置 - [DataArts Studio支持自定义的Python脚本吗？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0126.md): DataArts Studio自定义的Python脚本是否支持。支持。 - [如何创建数据库和数据表，数据库对应的是不是数据连接?](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0127.md): 用户对于创建数据库和数据表，数据库与数据连接的关系不清楚，需要具体解释下，便于用户理解。数据库和数据表可以在DataArts Studio服务中创建。数据库对应的不是数据连接，数据连接是创建DataArts Studio和其他数据服务的连接通道。 - [为什么执行完HIVE任务什么结果都不显示？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0129.md): 执行完HIVE任务结果不显示，可能是由于连接方式引起的。清理缓存数据，采用直连方式，数据就可以显示出来了。 - [DataArts Studio是否支持版本升级？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0130.md): 支持。如果您的业务量不断增长，已购版本无法满足您的业务需求，建议您升级版本。您可以登录DataArts Studio控制台，找到需要升级的DataArts Studio实例卡片，单击升级，然后根据页面提示购买更高规格的套餐。升级时，已经产生的费用按天结算。升级成功后，按新订购套餐进行计费。升级时，已经产生的费用按天结算。升级成功后，按新订 - [实例试用/购买成功后，可以转移到其他账号下吗？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0131.md): 不可以，实例试用/购买后不能转移到另一个账户。如需授权其他用户使用，请参见授权用户使用DataArts Studio。 - [如何处理CDM连接器报错“配置项 [linkConfig.iamAuth] 不存在”？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0132.md): 客户证书过期，需要完成更新证书操作，完成后重新配置连接器即可。 - [数据服务API接口，访问“测试APP”，填写了相关参数，但是后台报错要怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0133.md): 未配置参数header parameter。在调用API时配置参数header parameter。 - [使用API时，每个子域名每天可以访问多少次？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0134.md): 每个子域名的访问次数限制与API发布到的目标有关。共享版默认发布到API网关共享版。发布成功后，您可以在API网关服务共享版控制台上查看所发布的API。系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名，此调试域名唯一且不可更改，此调试域名每天最多可以访问1000次。如果您不希望与其他API共享此规格，可以在APIG共享版控 - [在作业监控页面里的“上次实例状态”只有运行成功、运行失败，这是为什么？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0135.md): 在作业监控页面里的“上次实例状态”只有运行成功、运行失败。上次实例状态是作业已经执行完成，只有成功、失败；实例监控里面状态有取消、暂停等好几种，是因为展示了作业的所有状态，另外作业运行异常和错误都会是作业失败的状态。 - [环境变量、作业参数、脚本参数有什么区别和联系？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0136.md): 环境变量、作业参数、脚本参数之间的区别与联系，需要具体举例说明下，便于用户理解。工作空间环境变量参数、作业参数、脚本参数均可以配置参数，但作用范围不同；另外如果工作空间环境变量参数、作业参数、脚本参数同名冲突，调用的优先级顺序为：作业参数 > 工作空间环境变量参数 > 脚本参数。环境变量、作业参数、脚本参数的介绍和使用方式如下：环境变量中 - [连接方式应该选择API连接还是代理连接？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0137.md): API连接仅支持在数据开发组件使用。因此如无特殊需求，为保证数据架构、数据质量、数据目录、数据服务等组件能够使用连接，推荐配置为“通过代理连接”。 - [CDM有哪些优势？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0139.md): 云数据迁移（Cloud Data Migration，简称CDM）服务基于分布式计算框架，利用并行化处理技术，使用CDM迁移数据的优势如表1所示。 - [CDM有哪些安全防护？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0140.md): CDM是一个完全托管的服务，提供了以下安全防护能力保护用户数据安全。实例隔离：CDM服务的用户只能使用自己创建的实例，实例和实例之间是相互隔离的，不可相互访问。系统加固：CDM实例的操作系统进行了特别的安全加固，攻击者无法从Internet访问CDM实例的操作系统。密钥加密：用户在CDM上创建连接输入的各种数据源的密钥，CDM均采用高强度 - [CDM迁移性能如何？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0141.md): 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 - [数据服务专享版集群正式商用后，如何继续使用公测期间创建的数据服务专享版集群和API？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0146.md): 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用，具体价格请参考该服务的计费详情页面。商用计费开始后公测期间的集群将进入宽限期，如果公测期间创建的数据服务专享版集群没有进行开启计费的操作，集群将于2021/08/29 00:00（北京时间 - [如何创建通知配置对全量作业都进行结果监控？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0148.md): 创建通知配置如何对全量作业都进行结果监控。在DataArts Studio控制台首页，选择对应工作空间的数据开发模块，进入数据开发页面。在数据开发主界面的左侧导航栏，在运维调度 > 作业监控中，选择批作业监控页签。勾选需要配置的作业，单击通知配置。创建通知配置设置通知配置参数，单击确定完成作业的通知配置。 - [通过DataArts Studio调度大数据服务时需要注意什么？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0149.md): 通过DataArts Studio调度大数据服务时，需要说明注意事项。DLI和MRS作为大数据服务，不具备锁管理的能力。因此如果同时对表进行读和写操作时，会导致数据冲突、操作失败。如果您需要对大数据服务数据表进行读表和写表操作，建议参考以下方式之一进行串行操作处理：将读表和写表操作拆分为同一作业的不同节点，两个节点通过连线建立先后执行关系 - [已购买包年包月的CDM套餐包，为什么还会产生按需计费的费用？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0151.md): 请您先确认套餐包和实际的CDM集群是否具有相同区域和规格，如果非相同区域和规格，则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面，进入集群管理，单击集群列表中的集群名称查看。如果套餐包和实际的CDM集群具有相同区域和规格，则以下情况也会产生按需费用：如果您先购买按需计费增量包，再购买套餐包，则在购买套餐包之前已经产生的费用以 - [如何将一个空间的数据开发作业和数据连接迁移到另一空间？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0153.md): 您需要通过导入导出功能，分别将旧空间的数据连接和作业数据导入到新空间内。数据连接数据，需要在管理中心的资源迁移进行导入导出。具体操作请参考资源迁移。作业数据，需要在数据开发中将作业导入导出。具体操作请参考导出导入作业。 - [管理中心在执行任务时，dlg-agent日志中显示报错：javax.security.sasl.SaslException: GSS initiate failed或者Caused by: org.ietf.jgss.GSSException: No valid credentials provided怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0154.md): 受Kerberos认证的限制，同一个dlg-agent不支持同时对接多个MRS集群。请确认数据连接中使用的CDM实例是否连接了多个MRS集群。编辑对应的数据连接，更换CDM实例以单独对接目标MRS集群。 - [IAM用户操作时报错“无xx权限”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0156.md): DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常，IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色，另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间 - [如何实现用户的工作空间隔离，使其无法查看其他未授权工作空间？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0158.md): DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下，当为普通用户配置了DAYU User系统角色，未添加为某个工作空间角色时，则该用户无法查看此工作空间。注意，如果该普通用户同时被配置了DAYU Administrator、Tenant Guest或Tenant Administrator角色，则工作空间隔 - [新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0166.md): 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 。新建MRS Hive连接时，提示无法下载配置文件，实际是用户权限不足。建议您新建一个业务用户，给对应的权限后重试即可。如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户 - [迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0167.md): 迁移时已选择表不存在时自动创表，提示“CDM not support auto create empty table with no column”。场景一：由于数据库表名中含有特殊字符导致识别出语法错误，按数据库对象命名规则重新命名后恢复正常。例如，DWS数据仓库中的数据表命名需要满足以下约束：长度不超过63个字符，以字母或下划线开头， - [DataArts Studio实例中的CDM没有计费是什么原因？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0192.md): 购买非免费版的DataArts Studio实例时，系统会赠送一个4核CPU、8G内存规格CDM集群，不会产生费用。注意，DataArts Studio实例赠送的CDM集群，推荐作为DataArts Studio管理中心数据连接的Agent代理使用，不建议同时作为Agent代理和运行数据迁移作业使用。 - [DataArts Studio是否支持修改时区？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0193.md): DataArts Studio是否支持修改时区，如果不支持应该如何处理。DataArts Studio实例暂不支持修改时区。数据开发作业调度时可通过EL表达式适配当地时间，例如： - [CDM作业改名后，在数据开发中如何同步？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0194.md): CDM作业改名后，在数据开发中不能同步。CDM作业改名后，需要在数据开发作业的CDM节点属性中，重新选择改名后的CDM作业名称。 - [CDM未使用数据传输功能时，是否会计费？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0197.md): CDM集群运行状态下，即便未使用也是正常计费的。如果长期不使用建议删除集群，需要的时候再创建集群。CDM集群计费详情请参考价格详情。 - [CDM与其他数据迁移服务有什么区别，如何选择？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0198.md): 华为云上涉及数据迁移的服务有以下几种：云数据迁移服务 CDM对象存储迁移服务 OMS数据复制服务 DRS主机迁移服务 SMS数据库和应用迁移 UGO数据快递服务 DES上述数据迁移服务的区别请参见各个数据迁移服务区别。云数据迁移（Cloud Data Migration，简称CDM）是一种高效、易用的数据集成服务。CDM围绕大数据迁移上云 - [数据开发的并行执行节点数是多少？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0200.md): DataArts Studio的并行执行节点数与作业节点调度次数/天配额有关，对应关系如下表所示。其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使用量”入口查看，其中的“作业节点调度次数/天”总量即为当前实例配额。当前工作空间级别的节点并发数支持配置，方法如下：详情请参考访问DataArts - [如何查看DataArts Studio的版本？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0202.md): 您可以在DataArts Studio实例卡片中查看DataArts Studio版本，如下图所示。 - [DataArts Studio的工作空间可以删除吗？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0222.md): DataArts Studio已经支持删除工作空间。为避免误删除导致的业务受损，删除工作空间需要DAYUAdministrator或Tenant Administrator账号才能操作，且删除工作空间的前提是各组件内已无业务资源，各组件校验的资源如下：管理中心组件：数据连接。数据集成组件：数据集成集群。数据架构组件：主题设计，逻辑模型，标 - [API传参是否支持传递操作符？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0236.md): API传参不支持传递操作符。API传参传递的只是参数，操作符是固定的，多个参数可使用in(${})方式。 - [工作空间内的API配额已满，无法新建API怎么解决？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0237.md): DataArts Studio实例下数据服务专享版的API总分配配额默认为5000，如果工作空间内的API配额未达此配额，则您可以为当前工作空间分配更多已分配配额。已分配配额表示分配给当前工作空间下可使用的配额。注意，已分配配额不能小于已使用配额，不能大于未分配配额（即总配额-总分配配额）。数据服务专享版在每个DataArts Studi - [数据服务专享版的API如何通过公网访问？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0239.md): 对于默认发布在数据服务专享版集群的API，当数据服务专享版集群支持公网访问后，API即可通过公网调用。而数据服务专享版集群如果要支持公网访问，仅在创建数据服务专享版集群时，勾选开启“公网入口”才能进行公网访问。因此，对于已创建的未开启公网入口的数据服务专享版集群，不支持再绑定弹性公网IP，即无法再直接通过公网访问。在这种情况下，您可以导出 - [如何处理API对应的数据表数据量较大时，获取数据总条数比较耗时的问题？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0240.md): 创建API时，已打开“返回总条数”开关。当API对应的数据表数据量较大时，获取数据总条数比较耗时。在分页查询时，您可以通过参数（参数名use_total_num）控制是否计算并返回数据总条数。例如，第一次查询时添加入参use_total_num=1获取数据总条数，后续再次请求接口时添加入参use_total_num=0不获取数据总条数。 - [数据服务专享版的API怎样通过域名访问？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0241.md): 对于默认发布在数据服务专享版集群的API，当数据服务专享版集群绑定域名后，API即可通过域名访问。绑定内网域名：内网域名是指在VPC中生效的域名。绑定内网域名，可以将内网域名与内网地址相关联，然后在内网同一VPC中通过内网域名进行API调用。在集群页面单击更多 > 绑定内网域名，输入自定义的内网域名，数据服务调用DNS服务将内网域名与内网 - [CDM可以跨账户使用吗？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0300.md): CDM不支持跨账户使用，可以通过授权给同一账户IAM子用户使用。IAM用户授权操作步骤如下：创建用户组并授权在IAM控制台创建用户组，并授予CDM集群只读权限“CDM ReadOnlyAccess”。在IAM控制台创建用户组，并授予CDM集群只读权限“CDM ReadOnlyAccess”。创建用户并加入用户组在IAM控制台创建用户，并将 - [CDM集群是否支持升级操作？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0302.md): CDM 2.9.x及后续版本集群支持升级操作，2.8.x及历史版本集群不支持升级操作。历史版本用户如果需要使用高版本集群，则需要重新创建集群并且将低版本集群的作业和连接导入到高版本集群。 - [如何查看套餐包的剩余时长？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0303.md): 套餐包的剩余时长需要在官网查询。您可以进入华为云官网，在用户名下拉列表中选择“费用中心”，然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 - [报错“配置项[linkConfig.createBackendLinks]不存在”或“配置项 [throttlingConfig.concurrentSubJobs] 不存在怎么办”？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0333.md): 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。当同时存在多个不同版本的集群，先在低版本CDM集群创建数据连接或保存作业时后，再进入高版本CDM集群时，会偶现此类故障。需手动清理浏览 - [创建Oracle关系型数据库迁移作业时，无法获取模式名怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0334.md): 创建Oracle关系型数据库迁移作业时，无法获取模式名。这是由于可能上传了暂不支持的最新ORACLE_8驱动（如Oracle Database 21c (21.3) drivers）。推荐使用Oracle Database 12c中的ojdbc8.jar驱动，下载地址：https://www.oracle.com/database/tec - [CDM迁移作业的抽取并发数应该如何设置？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0336.md): CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下：数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。CDM依次将Task提交给运行池运行。根据集群配置 - [CDM是否支持动态数据实时迁移功能？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0337.md): CDM是否支持动态数据实时迁移功能？不支持。如果源端在迁移过程中写数据，可能会出现报错。 - [CDM是否支持集群关机功能？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0338.md): CDM是否支持集群关机功能？不支持。从2022年4月开始，CDM已不再支持集群关机功能。当集群关机时，其底层资源可能会被占用，导致集群可能无法正常开机使用。 - [如何使用表达式方式获取当前时间？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0340.md): 如何使用表达式方式获取当前时间？您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间，更多表达式设置方式可以参考表达式转换。 - [MySQL迁移时报错：invalid input syntax for integer: "true"](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0341.md): 数据库中存储的是1或0，但没有true和false的数据，但MySQL迁移时读取到的是true或false，提示报错信息：Unable to execute the SQL statement. Cause: ERROR: invalid input syntax for integer: "true" Where: COPY sd_ma - [Hudi目的端的作业自动建表报错：schema不匹配，建表失败怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0347.md): cdm迁移数据到hudi，hudi选择自动建表，执行建表语句报schema不匹配错误“org.apache.spark.sql.AnalysisException:Specified schema in create table statement is not equal to the table schema”。从metastore中 - [Hudi目的端的作业失败，日志报错Read Timeout怎么解决？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0348.md): 作业日志报错Read time out，日志如下：确认MRS集群的JdbcServer是多实例模式还是多租模式。如果是多实例模式，跳转3。否则跳转2。如果是多实例模式，跳转3。否则跳转2。多租户模式下，确认其他租户的作业是否正常。如果所有租户的作业执行spark sql都有问题，跳转3。否则，跳转4。如果所有租户的作业执行spark sq - [Hudi目的端的作业执行卡Running，读取行数写入行数相等且不再增加怎么解决？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0349.md): CDM写Hudi为两段式，先写到hive临时表，然后再执行spark sql写到Hudi，写入行数统计的是写hive临时表的行数，当行数不再增长时，说明源端数据已经读完写到Hive表中，此时作业正在执行Spark SQL过程中，需要等Spark SQL执行完作业才会结束。打开日志，搜索insert into，找到如下的日志，根据日志中打印 - [Hudi目的端的作业执行卡Running，数据写入行数一直显示为0如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0350.md): 打开日志，最后一行日志如下所示，则说明此时集群并发资源消耗殆尽，或者集群内存使用达到阈值，新提交的作业需要排队等待。集群并发数到达上限联系SRE查看cdm后台日志：/var/log/cdm/local/framework.log，搜索关键字：cluster running task，如果运行的并发数与available的并发数一致，则说明 - [Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0351.md): 报错：hoodie table path not found。报错：写入记录中存在空值，写入失败。报错：killed by external signal。报错：java.lang.IllegalArgumentException。表在metastore中存在，但不是Hudi表，或者表在metastore中存在，但是表目录不存在，根因是在 - [Hudi目的端的作业执行过程中，由于源端连接闪断、超时或主动终止连接导致作业执行失败怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0352.md): 作业执行过程中，由于源端连接闪断、超时或者源端主动终止了连接导致作业执行失败。日志中出现源端的read timeout报错，或者terminate by xxx之类的报错。如果源端网络不稳定，可以使用分片重试能力多次执行作业，可能需要调整作业配置。如作业配置了分片数，或者源端为分区表，且作业配置了按表分区抽取，则单击更多-分片重试，重跑失 - [使用OceanBase源端进行迁移，任务报错：query has reached the maximum query timeout，怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0356.md): 使用OceanBase源端进行迁移，任务报错：query has reached the maximum query timeout。在分片过程中，CDM 将查询表字段的 MIN MAX 值作为分片字段，执行 SQL: SELECT MIN(ORA_HASH(ROWID)) FROM "HEIO"."ORDERS" WHERE 1 = - [CDM如何对接Lake Formation？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0357.md): 当前只支持MRS Hive对接Lake Formation的场景。数据集成（CDM作业）配置方法：创建Hive数据连接时：Hive对接Lake Formation场景，“OBS支持”参数配置为“是”且需要配置obs aksk，其他配置与Hive不对接Lake Formation保持一致。配置OBS参数在属性配置中，新增lakeformat - [DNS域名和IP映射关系修改后，CDN未生效，如何解决？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0358.md): 配置CDM数据源连接时，检测数据源连通性报异常：Failed to execute jdbc operation, Cause : [CORE_0021:Can't connect to server. Cause : [The connection attempt failed.]] (Cdm.0989)。Java进程内置DNS缓存机制 - [配置达梦（DM）数据连接时如何选择合适的驱动？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0359.md): 达梦（DM）数据源官方提供的不同版本驱动，除功能更新外，其对JDBC的支持也有所变化。选择合适的版本才能确保CDM正常进行数据迁移。达梦（DM）数据库驱动的命名变更。达梦（DM） 24年第3季度版之前的JDBC驱动JAR包命名规则为：DmJdbcDriver16.jar代表适配 jdk 1.6DmJdbcDriver17.jar代表适配 - [创建CDM集群失败怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0360.md): 创建CDM集群可能会失败，以下是常见的失败原因及相应的解决措施。 - [Hive目的端的作业写入Hive ORC表时，单个字段String数据长度过大，导致写入阻塞或写入后Spark读取失败怎么解决？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0361.md): 在将作业写入Hive ORC表时，若单个字段的String数据长度过大，可能导致写入阻塞或写入后Spark读取失败。场景一：当ORC源码采用字符串字典编码写入STRING数据时，字段编码会使用字节数组缓存数据。若一批数据（默认1000）的总字节大小超过2GB，字节数组缓存将溢出，触发OOM异常，进而导致ORC源码内部出现异常循环。当ORC - [执行RDS SQL，报错hll不存在，在DataArts Studio可以执行成功？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0400.md): 执行RDS SQL，报错hll不存在，作业可以执行成功。这个hll插件默认创建在public schema，SQL需要带上hll所属的schema。 - [创建DWS数据连接时报错提示“The account has been locked”怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0402.md): 连接DWS集群输入密码错误的次数达到集群参数failed_login_attempts所设置的值（默认10）时，账户将会被自动锁定。解锁方式参考账号被锁住了，如何解锁？ - [作业实例取消了，日志提示“The node start execute failed, so the current node status is set to cancel.”怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0403.md): 作业实例取消了，日志提示“The node start execute failed, so the current node status is set to cancel.”。依赖的作业有失败的，在作业实例监控的状态为“已取消”右侧有个问号，单击该问号可以查看依赖作业的失败实例。 - [调用数据开发接口报错“Workspace does not exists”怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0404.md): 调用数据开发接口，报错“Workspace does not exists”。代码的request请求的header要添加项目Id，即header.add("X-Project-Id"，项目Id)。 - [Postman调用接口返回结果正常，为什么测试环境调用接口的URL参数不生效？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0405.md): Postman调用接口返回结果正常，测试环境调用接口的URL参数不生效。URL的参数连接符&需要转义。 - [执行Python脚本报错：Agent need to be updated？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0406.md): 创建的主机连接的CDM集群版本可能有点低。创建的主机连接需要使用2.8.6版本及以上的CDM集群。 - [节点状态为成功，为什么日志显示运行失败？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0407.md): 节点状态为成功，日志显示运行失败。强制成功操作会更新作业实例（和节点）状态为成功。 - [调用数据开发API报错Unknown Exception？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0408.md): 调用数据开发API报错Unknown Exception。DataArts Studio是项目级服务，获取Token的scope要选择project级别。 - [调用创建资源的API报错“资源名不合法”是什么原因？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0409.md): 调用创建资源的API报错“资源名不合法”。资源名称只能包含英文字母、数字、中文字符、下划线或中划线，且长度为1-32个字符。 - [补数据的作业实例都是成功的，为什么补数据任务失败了？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0410.md): 补数据的作业实例成功，补数据任务失败了。补数据任务包含了其他工作空间的作业，可以在别的工作空间查看同名补数据任务的作业实例执行（失败）情况。 - [DWS数据连接可视化建表，报错提示“表已存在”，但是展开数据连接看不到该表？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0411.md): 可能是权限不足。DWS数据连接的用户没有该表的查看与编辑权限，实际上该表已经存在。 - [调度MRS spark作业报错“The throttling threshold has been reached: policy user over ratelimit,limit:60,time:1 minute.”怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0415.md): DataArts Studio作业调度MRS spark作业报错："The throttling threshold has been reached: policy user over ratelimit,limit:60,time:1 minute"，如下图所示。由于MRS服务的接口限制了单个用户每分钟最多调用60次，因此只能通过降低 - [执行Python脚本，报错“UnicodeEncodeError :‘ascii' codec cannot encode characters in position 63-64 : ordinal not in range ( 128 )”怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0417.md): 在DataArts Studio的python脚本中，设置参数json.dumps(json_data, ensure_ascii=False)时，执行报错UnicodeEncodeError :‘ascii' codec cannot encode characters in position 63-64 : ordinal not i - [查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0418.md): 查看数据开发的节点日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限”，如下图所示：数据开发的日志存储在OBS桶中，您所在的用户组没有OBS的操作权限，导致在查看节点日志时系统提示报错，或者OBS日志文件不存在时系统提示报错。使用管理员用户登录IAM控制台。在统一身份认证服务的左侧导航窗格中，选择“用户”， - [数据架构中的指标与数据质量的指标的区别？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0506.md): 数据架构中的指标与数据质量的指标的区别？数据架构中指标侧重业务维度，用来衡量目标总体特征的统计数值；数据质量中指标侧重监控维度，用来管理所有业务指标，包括指标的来源、定义等。注意，数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的，不支持交互。同时，数据质量模块的业务指标监控已下线，推荐使用数据架构的业务指标功能。 - [为什么关系建模或维度建模修改字段后，数据库中表无变化？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0507.md): 关系建模或维度建模修改字段后，数据库中表无变化。关系建模或维度建模修改字段更新表后，但实际上数据库中物理表并无变化，这是因为未对数据表更新方式做配置，此选项默认为“不更新”。配置数据表更新方式操作如下：在DataArts Studio控制台首页，选择实例，单击进入控制台，选择对应工作空间的数据架构模块，进入数据架构页面。在数据架构控制台， - [表是否可配置生命周期管理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0508.md): 表是否可配置生命周期管理。目前暂不支持表生命周期管理的配置。 - [当公共维度（如日期/地区/供应商/产品等）被多个主题域共享时，创建维度时应该如何选择主题？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0516.md): 当前数据架构并未提供公共维度的概念，维度需指定归属一个主题。如果有使用公共维度的场景，建议新建一个公共的主题，将公共维度归属到该主题下面。另外，由于当前维度使用权限未按照主题去划分（按照模型划分），因此不会导致因主题划分而导致的权限限定与查询障碍。 - [在创建原子指标的时候，只能选择事实表。对于基于维度表创建，如何理解呢？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0517.md): 在标准数据治理模型下，事实表中的维度信息，都来自于维度表。因此创建原子指标的时候，是通过事实表中来源于维度表的属性来关联维度表的。如果需要基于维度信息生成原子指标，需要先通过维度表创建事实表，再通过原子指标关联事实表中的维度属性来创建。 - [Shell/Python节点执行失败，后台报错session is down](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0618.md): 本指导以Shell算子为例。Shell节点运行失败了，实际上Shell脚本运行成功了。获取Shell节点的运行日志。[2021/11/17 02:00:36 GMT+0800] [INFO] No job-level agency is set, Workspace-level agency is dlg_agency, Execute - [请求头中参数值长度超过512个字符时，如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0619.md): 以Rest Client算子为例。在配置作业算子参数时，在添加请求头中时，需要输入参数及参数值，如果该参数的参数值长度超过512个字符时，则不能继续输入，如下图所示。配置作业节点的请求头参数。在“参数值”里面引入变量名称，例如${para}。配置请求头参数在“参数值”里面引入变量名称，例如${para}。配置作业参数。单击“作业参数配置” - [执行DWS SQL脚本时，提示id不存在，如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0620.md): 在执行DWS SQL脚本时，提示id不存在，原因是id的大小写引起的。DWS执行SQL时，系统默认是小写，如果是大写字段需要加""。举例：select * from table1 order by "ID"; - [如何查看CDM作业被哪些作业调用？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0621.md): CDM作业被哪些作业调用。在数据开发主界面的左侧导航栏，选择运维调度作业监控。单击批作业监控页签，进入批作业的监控页面。通过条件筛选，查询CDM作业的调度执行信息。通过筛选“CDM作业”可以查询CDM作业的调度执行信息。通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。批作业监控通过筛选“CDM作业”可以查 - [执行SQL语句失败，系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs for further information”，如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0622.md): 执行SQL语句失败后，系统提示错误信息“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs for further informatio - [使用python调用执行脚本的api报错：The request parameter invalid，如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0623.md): 使用python调用执行脚本的api报错：The request parameter invalid。调用执行脚本接口。查看日志：报错：Content type 'application/octet-stream' not supported目前系统支持Content-Type参数为application/json。Content-Typ - [在ECS上调试好的shell脚本，在数据开发中shell脚本执行异常，如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0624.md): 在ECS上调试好的shell脚本，在数据开发中shell脚本执行异常。脚本内容是通过gsql连接dws查询某库表数据行数的。ECS调试结果：数据开发脚本运行结果：添加如下两条命令：其中，/usr/local/dws_client_8.1.x_x64是安装的dws客户端的路径。 - [Spark Python作业如何引用Python脚本？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0625.md): 在管理中心已创建MRS Spark连接，连接方式为MRS API连接。脚本创建好以后，在作业中引用该脚本，具体操作如下。集群：与管理中心创建连接时，所选择的集群保持一致。脚本：选择在线脚本，选择在脚本开发已创建好的脚本pyspark_demo。其他参数保持默认。 - [DataArts Studio调度CDM任务时报错Given transaction id [xxxx] is invalid，如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0626.md): DataArts Studio调度CDM任务时，报错Given transaction id [xxxx] is invalid。存在多个DataArts Studio作业同时调度同一个CDM任务节点，导致两个作业的事务id冲突报错。调整DataArts Studio作业调度时间，保证同一时间只保留一个调度任务。 - [在数据开发子模块中，doris SQL作业执行失败，是什么原因？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0627.md): 在数据开发子模块中，doris SQL作业调度任务失败，手动执行成功。Doris SQL不支持#注释，支持--注释和/**/。 - [在数据开发子模块中，新建的DLI SQL脚本默认队列是一个已删除的队列，怎么处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0628.md): 新建的DLI SQL脚本默认队列是一个已删除的队列。新建的DLI SQL脚本队列显示的逻辑是这样的，在该工作空间，上一次使用DLI SQL脚本或打开DLI SQL脚本时，所选择的队列会在缓存中进行存储。新建DLI SQL脚本的时候，就会自动选择该队列。要规避这个现象，可以在这个工作空间中，新建DLI SQL脚本的时候选择一个有效的DLI资 - [数据开发中的事件驱动是否支持线下kafka？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0629.md): 用户在配置事件驱动调度时，事件触发类型选择kafka时，不能选到线下kafka。数据开发中的事件驱动不支持线下kafka，仅支持MRS kafka。 - [创建作业时选择了委托配置，通过MRS API或MRS租户面方式连接的MRS集群，提交相关的MRS作业时界面会报错，如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_0630.md): 界面报错提示如下：在MRS Manager中查询提交作业的用户失败。error_code为0191。当前用户在MRS Manager中不存在。请在IAM中为该用户授予足够权限，然后在Dashboard标签页上执行IAM用户同步。error_code为0192。通过MRS API方式或者MRS租户面方式连接的MRS集群，在使用公共委托或作业 - [MySQL到DWS实时同步中，同步新增列的DDL时报错怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_1617.md): 1. 运行migration mysql2dws链路的实时同步作业，DDL同步中对增加列操作设置为“正常处理”。2. 在目的端DWS表有数据的场景下，源端MySQL执行DDL语句，添加带非空约束的列，默认值为空字符串，如：alter table test add column t_col varchar(30) not null defa - [MySQL到DWS实时同步中，DWS为什么需要对主键null值进行过滤？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_1618.md): MySQL到DWS链路，由于DWS的表是手动建立的，主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段，如果该字段在MySQL中出现null值则写入到DWS中将会报错，报错信息如下：MySQL到DWS链路，由于DWS的表是手动建立的，主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段时且该字段在MySQ - [Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_1619.md): Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”错误。查看日志提示报错信息为“Array element access needs an index starting at 1 but was 0”，即数组下标必须从1开 - [Oracle数据源如何开通归档日志、查询权限和日志解析权限？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_1635.md): Oracle数据源默认权限无法正常执行实时处理集成作业。Oracle库需要开启归档日志，归档日志建议至少保留三天。Oracle表没有表查询权限和日志解析权限。开启归档日志。以sysdba身份登录Oracle数据库。执行SQL命令ARCHIVE LOG LIST查询当前数据库的归档状态，如下结果为未开启日志归档。Database log m - [PostgreSQL数据源如何手动删除复制槽？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7586.md): PostgreSQL数据源不会自动删除复制槽，当复制槽数达到上限时需要手动删除复制槽，作业不再使用时，为避免日志堆积也要删除复制槽。PostgreSQL数据源不会自动删除复制槽。确认要删除的复制槽，复制槽命名规则：migration_作业ID，作业ID可以在实时集成作业监控中查看。方式一：查看作业ID方式二：查看作业ID方式一：查看作业I - [问题案例总览](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7594.md): 华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。 - [数据源和migration资源组网络不通如何排查？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7595.md): 配置Migration实时集成作业时，检测源端、目的端数据源与migration资源组的连通性报异常。请根据异常项参考下表进行排查。 - [数据源安全组放通哪些端口可满足Migration访问？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7596.md): 在打通migration资源组与数据源之间网络时，需要在数据源所属安全组放通migration资源组的网段访问对应端口，那么具体需要放通哪些端口？对于不同的数据源其使用的端口也不尽相同，具体可通过查看各数据源官方文档确定具体端口。下表提供部分数据源端口情况，仅供参考。 - [如何配置Hudi Compaction的Spark周期任务？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7597.md): Migration写入数据到Hudi时为了保证稳定性需要将Compaction任务单独拆成Spark作业并交给MRS执行，那么如何配置？Migration任务中必须关闭异步compaction动作，同时将clean和archive关闭。具体来说，可以在“Hudi表属性全局配置”或单表的“表属性编辑”中配置下表所示参数。如上配置项配置完成后 - [如何增加PostgreSQL、GaussDB数据源额外权限？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7600.md): PostgreSQL、GaussDB数据源的默认权限无法正常执行实时处理集成作业。PostgreSQL使用pgoutput插件进行增量逻辑解码，该插件依赖PUBLICATION。PostgreSQL、GaussDB增量位点启动和逻辑复制槽推进都需要查询数据库wal日志信息，需要获取pg_ls_waldir()函数查询权限。查看发布的命令。 - [GaussDB到DWS实时同步中，开启逻辑删除时写入DWS报错，错误信息包含“null value in column "xxx" violates not-null constraint”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7601.md): 运行GaussDB到DWS的实时同步作业时，目的端高级属性配置中打开逻辑删除开关：logical.delete.enabled -> true。目的端表存在非主键not null字段时，源端执行删除数据操作，作业报错：null value in column "xxx" violates not-null constraint。逻辑删除功 - [MySQL到Doris实时同步中，源端tinyint(1)类型写入报错，报错信息包含“column(xx) value is incorrect while strict mode is true, src value is xxx”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7602.md): 在MySQL到Doris的实时作业中，自动建表时会将源端的tinyint(1)转换成boolean类型，当向该类型字段插入非0和1的数值时，会导致作业报错。自动建表默认转换源端tinyint(1)类型的方式不恰当。在MySQL数据连接里配置连接属性参数：tinyInt1isBit = false，自动建表就能将源端tinyint(1)转成 - [Hudi到Doris实时同步中，源端DECIMAL类型作为主键自动建Doris表报错，错误信息包含“String Type should not be used in key column[xxx]”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7603.md): Hudi到Doris的实时作业中，自动建表会将源端为decimal类型且precision大于27的转成字符串类型，当该字段作为主键时可能会导致建表失败。低版本Doris（如1.2版本）支持的decimal类型最大精度为27，为了兼容低版本Doris，当前所有精度超过27的字段都会被转换为字符串类型，而字符串类型字段无法作为主键，因此导致 - [Oracle 在读取全量或增量数据时遇到日志解析失败，错误信息包含“DmlParserException: DML statement couldn't be parsed”，应如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7604.md): Oracle 作为源端的链路在全量或增量同步过程中解析日志出现异常，JobManager 或 TaskManager 日志报错“DmlParserException: DML statement couldn't be parsed”。在日志解析过程中，需要读取 Oracle 表的元数据信息对解析列数据进行解析。如果源端 Oracle 表 - [Hudi作为目的端时，checkpoint超时导致作业重试，多次重试后异常且报错信息包含“Checkpoint expired before completing”、“Checkpoint Coordinator is suspending”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7605.md): 运行中的实时迁移作业出现重试告警，作业同步速率低，且伴随有持续反压，最终作业运行失败。关键字“Checkpoint expired before completing”、“Checkpoint Coordinator is suspending”。报错信息详情：或checkpoint默认超时时间为10min，作业checkpoint超时可 - [DLI到Hudi实时同步中，作业开启同步新增字段后，DLI SQL show create table无法查询到新增字段怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7606.md): 实时作业在“配置DDL消息处理规则”时，将“新增列”设置为“正常处理”，源端新增字段f1，select * 查询数据能够查询到新增字段数据（图2），但show create table获取不到字段（图3）。Migration无法将新增字段的元数据信息同步到DLI的Catalog，需要配置DLI SQL周期执行元数据同步任务。用户需要手动执 - [写Hudi同步过程中报错，错误信息包含“java.lang.NumberFormatException: For input string”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7607.md): 在增量同步过程中写入Hudi表时，作业出现异常，JobManager或TaskManager的错误日志显示“java.lang.NumberFormatException: For input string”。用户对源端进行了字段类型的变更（例如，从 int 更改为 varchar），但 Hudi 侧的对应字段类型未进行更新，仍保持为 i - [写Hudi同步过程中报错，错误信息包含“HoodieException: Duplicate fileID”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7608.md): 写Hudi，Hudi表索引类型为BUCKET，作业进入“运行中”后报错，jobmanager、taskmanager中均有报错关键字“HoodieException: Duplicate fileID”。查看Hudi表目录，可以看到问题分区下相同桶ID对应不同的FileID。BUCKET索引的Hudi FileGroupId由 桶ID+U - [MySQL增量同步过程中报错，错误信息包含“The connector is trying to read binlog starting at Struct xxx but this is no longer available on the server”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7609.md): 增量同步MySQL数据过程中或者暂停作业一段时间后恢复作业，作业出现异常，报错关键字“The connector is trying to read binlog starting at Struct 【xxx】 but this is no longer available on the server”，【xxx】中包含具体的binlo - [PostgreSQL/GaussDB作为源端时，实时作业启动失败且报错信息包含“all replication slots are in use”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7610.md): PostgreSQL/GaussDB作为源端时，实时作业启动失败且报错信息包含“all replication slots are in use”。复制槽数量达到上限。提高复制槽数量上限。在PostgreSQL/GaussDB的参数管理中修改参数max_replication_slots，建议将此参数大小设置为不小于PostgreSQL/ - [PostgreSQL/GaussDB作为源端时，作业启动失败且报错信息包含“permission denied for function pg_ls_waldir”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7611.md): PostgreSQL/GaussDB作为源端时，实时作业启动失败且报错信息包含“permission denied for function pg_ls_waldir”。PostgreSQL/GaussDB实时作业需要通过wal诊断函数“pg_ls_waldir”查看日志LSN（日志序列号，用于记录日志位置）和时间戳的对应关系，该函数查询 - [PostgreSQL/GaussDB作为源端时，作业启动失败且报错信息包含“replication slot "xxx" is already active”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7612.md): PostgreSQL/GaussDB作为源端时，实时作业启动失败且报错信息包含“replication slot "xxx" is already active”。PostgreSQL/GaussDB增量同步依赖逻辑复制槽，如果一个复制槽已被用于某个实时作业的同步任务，那么它将不能再用于其他作业。根据复制槽名称后缀的作业id找到对应正在使 - [GaussDB作为源端时，增量同步过程中报错且信息包含“number of requested standby connections exceeds max_wal_senders”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7613.md): GaussDB作为源端时，增量同步过程中报错且信息包含“number of requested standby connections exceeds max_wal_senders”。增量复制连接占用线程超上限。在GaussDB的参数管理中修改参数max_wal_senders，建议将此参数大小设置为原值基础上加上gaussdb为源端的 - [GaussDB作为源端时，增量同步过程中报错且信息包含“no gs_hba.conf entry for replication connection from host "xxxx", user "xxx", SSL off”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7614.md): GaussDB作为源端时，增量同步过程中报错且信息包含“no gs_hba.conf entry for replication connection from host "xxxx", user "xxx", SSL off”。没有在配置文件中添加资源组网段的白名单。确认源库的wal_level参数是否设置为logical。查看参数配置 - [在写DWS同步过程中，目的端包含date字段类型时报错，错误信息包含“Text 'xxx' could not be parsed, unparsed text found at index 10”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7615.md): 在DWS表的增量同步过程中作业出现异常，jobmanager或taskmanager的报错日志显示“Text 'xxx' could not be parsed, unparsed text found at index 10”。DWS在MySQL兼容模式下date类型不会自动转换成timestamp(0)，不支持源端插入"yyyy-MM - [在Oracle启动增量过程中，报无法读取V$DATABASE视图，错误信息为“cannot read the redo log position via 'SELECT CURRENT_SCN FROM V$DATABASE', make sure your server is correctly configured”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7616.md): Oracle为源端的链路在增量同步过程中报读取V$database视图异常，jobmanager或者task manager 日志报错“cannot read the redo log position via 'SELECT CURRENT_SCN FROM V$DATABASE', make sure your server is c - [Oracle增量读取启动时提示补充日志未开启, 报错信息包含“supplement logging not properly configured”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7617.md): Oracle为源端的实时链路在增量同步过程中报补充日志未开启，JobManager或者TaskManager日志报错“supplement logging not properly configured”。Oracle为源端的实时链路同步数据时需要同步的表开启补充日志，开启补充日志后才能在日志中读取到完整的数据。同步的Oracle表开启补 - [Oracle作为源端时在全量同步的过程中，报数据库历史记录内容完全或者部分缺失， 报错信息包含“The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7618.md): Oracle作为源端时在全量同步的过程中，报数据库历史记录内容完全或者部分缺失，Jobmanager或者task manager日志报错“The db history topic or its content is fully or partially missing. Please check database history topi - [在Oracle增量读取过程中，数据库日志失效，报错信息包含“ORA-01292: no log file has been specified for the current LogMiner session”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7619.md): 在Oracle增量读取过程中，数据库日志失效， jobmanager或者task manager日志报错“ORA-01292: no log file has been specified for the current LogMiner session”。日志文件被Oracle数据库删除了，可以和Oracle DBA 确认 startS - [Oracle作为源端时，增量启动过程中报不支持CONTINOUS_MINE，关键字“oracle.jdbc.OracleDatabaseException: ORA-44609: CONTINOUS_MINE is desupported for use with DBMS_LOGMNR.START_LOGMNR”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7620.md): Oracle作为源端时，增量启动过程中报不支持CONTINOUS_MINE，jobmanager或者task manager日志报错“oracle.jdbc.OracleDatabaseException: ORA-44609: CONTINOUS_MINE is desupported for use with DBMS_LOGMNR. - [Oracle作为源端时，增量读取过程中报socket超时，信息包含“java.sql.SQLRecoverableException: IO Error: Socket read timed out”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7621.md): Oracle作为源端时，增量读取过程中报socket超时，jobmanager或者task manager日志报错“java.sql.SQLRecoverableException: IO Error: Socket read timed out”。Oracle数据库压力较大，未能及时处理请求。Oracle数据库当时出现问题，无法处理请求 - [如何查看实时作业已消费位点并恢复作业？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7622.md): 用户停止作业后重新启动作业，无法确认“启动配置”中的起始时间，此时需要获取作业在停止前的已消费位点，并设置重启作业的启动时间不晚于已消费位点，确保新起作业不丢数。用户长时间暂停作业或者是长时间未处理异常事件，导致重新恢复作业时CDC日志数据已丢数（比如常见的MySQL binlog过期），作业无法正常恢复，此时需要获取作业在暂停前的已消费 - [MySQL源端作业如何查看已消费位点？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7623.md): 本文介绍四种方式确认作业的已消费位点，用户可以根据实际情况采取不同方案。前往作业监控界面。前往作业监控选择实时集成作业监控页签。实时集成作业监控单击作业名，进入监控信息界面，刷新作业同步进度。监控信息以上，binlog时间戳即为已消费位点，重启作业时可以将这个时间设置为启动时间以防止丢数。以上，binlog时间戳即为已消费位点，重启作业时 - [Oracle源端作业如何查看已消费位点?](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7624.md): 通过查看作业日志确认已消费位点。下载jobmanager日志，搜索关键字“Completed checkpoint”找到最新的一次已完成checkpoint，以下可以看到“checkpoint 6”为最新完成的检查点。下载jobmanager日志搜索Completed checkpoint下载jobmanager日志，搜索关键字“Comp - [SQLServer源端作业如何查看已消费位点？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7625.md): 下载jobmanager日志，搜索关键字“Completed checkpoint”找到最新的一次已完成checkpoint，以下可以看到“checkpoint 2”为最新完成的检查点。下载jobmanager日志搜索Completed checkpoint下载taskmanager日志，搜索关键字“Stream split offset - [PostgreSQL/Gaussdb源端作业如何查看已消费位点？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7626.md): 下载jobmanager日志，搜索关键字“Completed checkpoint”找到最新的一次已完成checkpoint，以下可以看到“checkpoint 2”为最新完成的检查点。下载jobmanager日志搜索Completed checkpoint下载taskmanager日志，搜索关键字“Stream split offset - [如何连接已开启SASL认证的DMS Kafka？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7627.md): 实时链路中连接Kafka已开启SASL认证，如何配置连接使得作业能正常运行并同步数据？security.protocol=SASL_SSL/SASL_PLAINTEXTsasl.mechanism=PLAIN/SCRAM-SHA-512 - [作业启动失败且报错信息包含“User account not found or disabled in iam”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7628.md): 启动Migration作业时，任务报错且提示“User account not found or disabled in iam”。当前仅支持IAM用户运行Migration作业。方案1：使用IAM账号运行任务。方案2：若使用联邦账号，作业提交需配置委托，详情参考配置调度身份。 - [MySQL到DWS增量同步过程中报错，包含关键字“value too long for type character varying”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7629.md): MySQL到DWS链路启动任务后，同步过程中异常，报错关键信息包含“value too long for type character varying”。源端MySQL的varchar(n)实际指定的是字符长度，而DWS中的varchar(n)为字节长度，如果MySQL的varchar数据包含特殊字符、中文字符时，字节长度就会超过n，因此 - [在MySQL到DWS链路的实时同步过程中，如果启动任务后出现异常，且报错信息中包含“tinyint out of range”，应如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7630.md): 在MySQL到DWS链路的实时同步过程中，启动任务后出现异常，且报错信息中包含“tinyint out of range”。在写入目的端DWS时，tinyint类型字段发生长度溢出。请通过报错日志确定溢出的字段，并确保目标端DWS对应字段的类型长度能够覆盖源端字段的长度。 - [将数据增量同步到Kafka时遇到异常，错误信息中包含“The message is xxx bytes when serialized which is larger than”，应如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7631.md): 在将数据增量同步到Kafka时出现异常，错误信息包含关键字“The message is xxx bytes when serialized which is larger than”。Kafka Producer的单条数据大小限制max.request.size默认为1048576（1MB），实时同步任务写入的数据超过了这一限制。在任务 - [Hudi作为目的端时，如果表路径为OBS路径，报错信息包含“Exception when get temporary security key”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7632.md): 实时作业启动时异常，jobmanager报错关键字“Exception when get temporary security key”。作业写出的Hudi表路径为OBS路径，而用户创建的MRS-Hudi连接信息中没有开启“OBS支持”。连接配置里面把OBS支持打开，同步配置AKSK。 - [Hudi作为目的端时，实时网络连接主机信息未配置报错，错误信息包含关键字“IllegalArgumentException: java.net.UnknownHostException：{MRS主机信息}”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7633.md): 作业启动时出现异常，错误关键字为：“IllegalArgumentException: java.net.UnknownHostException: {MRS主机信息}”。由于实时网络连接中主机信息未配置，导致配置文件下载失败。作业未报错，但打印了info级别的异常信息，提示MRS相关域名为UnknownHost。在实时网络连接中添加主机 - [Hudi作为目的端时，如果作业启动失败，并且MRS集群安全组仅开放了TCP协议端口，遇到“javax.security.auth.login.LoginException: Receive timed out”错误，怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7634.md): 此类问题大多出现在首次启动Hudi作业的场景中，特别是在MRS集群未开放UDF协议端口的情况下。报错关键字包括：“javax.security.auth.login.LoginException: Receive timed out” 和 “UDPClient.receive”。写MRS-Hudi，需要在MRS安全组中开放对Migrati - [Hudi作为目标端时，如果作业启动时出现异常，且错误信息中包含“HoodieIndexException: Unsupported index type BUCKET”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7635.md): 客户在Hudi属性配置中添加索引配置hoodie.index.type = BUCKET后启动作业异常。报错关键字“HoodieIndexException: Unsupported index type BUCKET”。报错信息详情：实时集成作业Hudi通过Hudi connector完成。在配置属性时，需使用Flink on Hud - [Hudi作为目的端时，作业启动失败且报错信息包含“Table XXX is partitioned by field, which is conflict with input options”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7636.md): 用户启动作业失败，报错信息包含“Table XXX is partitioned by field , which is conflict with input options.”。报错信息详情：用户在配置作业时，需确认分区信息与Hudi表的实际建表结果一致。作业启动时会进行分区信息校验，主要检查是否存在分区，分区名称是否一致；若不一致， - [Hudi作为目标端时，如果作业启动失败且错误信息包含“Custom defined extra column is missing in schema which is predefined in config”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7637.md): 用户在为作业配置附加字段后，作业启动失败。配置的附加字段名在Hudi表中未找到，错误信息中包含关键字“Custom defined extra column is missing in schema which is predefined in config”。报错信息详情：用户配置的附加字段必须是Hudi表中的已有字段。在作业启动时会进 - [在实时集成作业中，如果遇到附加字段UDF类型中表达式里配置的输入字段不存在怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7638.md): 在实时集成任务中，用户配置了附加字段，字段值类型选择了UDF。提交作业后运行出现异常，错误信息为：data transform error: required col [xxx] from xxx is not existed。报错信息样例：当用户在UDF表达式中引用的字段名在Hudi表中实际不存在时，例如字段aaa在Hudi表和源端表中 - [在实时集成作业中，作业启动失败报错信息包含关键字“Parse generate hadoop config response failed”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7639.md): 在实时集成任务中，用户启动作业失败，日志显示在初始化MRS Hadoop配置文件时异常，报错信息包含关键字“Parse generate hadoop config response failed”。报错信息样例：MRS-Hudi连接账号的MRS接口权限不足。账号未达到操作Hudi所需的最小权限，直接错误表现为解析response异常，实 - [在实时集成作业中，作业启动失败提示账号的hadoop权限不足，报错信息包含关键字“org.apache.hadoop.security.AccessControlException: Permission denied”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7640.md): 在实时集成任务中，作业启动时失败，提示账号的hadoop权限不足，关键字“org.apache.hadoop.security.AccessControlException: Permission denied”。MRS账号的用户组权限不足。参考数据库账号要求进行MRS账号的最小化权限配置。 - [在实时集成作业中，作业运行异常报错信息包含关键字“Ddl type 'ALTER_COLUMN_TYPE' is configured with policy 'EXCEPTION”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7641.md): 在实时集成任务中，源端表进行了修改列DDL变更，作业运行异常，报错关键字“Ddl type 'ALTER_COLUMN_TYPE' is configured with policy 'EXCEPTION'”。报错信息详情：Hudi仅支持新增字段的DDL同步，其他类型的DDL变更将被默认忽略或导致作业失败。用户需要停止作业，并通过Spar - [在实时集成作业中，作业运行异常报错信息包含关键字“Ddl type 'ALTER_ADD_COLUMN' is configured with policy 'EXCEPTION”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7642.md): 在实时集成任务中，源端进行了增加列DDL变更，作业运行异常，报错关键字“Ddl type 'ALTER_ADD_COLUMN' is configured with policy 'EXCEPTION'”。报错信息详情：实时写Hudi支持在线同步源端新增的列，用户需要配置作业时开启“DDL配置”配置中的“新增列”配置项为“正常处理”。暂停 - [在实时集成作业中，如果作业运行时出现异常，主键为空，报错信息包含关键字“HoodieKeyException: recordKey values: 'id:__null__' for fields: [xxx] cannot be entirely null or empty”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7643.md): 在实时集成作业中，作业运行时出现异常，主键为空，报错信息包含关键字“HoodieKeyException: recordKey values: 'id:__null__' for fields: [xxx] cannot be entirely null or empty”。报错信息详情：无法获取到Hudi表主键的值，或者获取到的值为空。 - [在实时集成作业中，如果作业运行时出现异常，预聚合键为空，报错信息包含关键字“The value of col_double can not be null”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7644.md): 在实时集成作业中，作业运行时出现异常，预聚合键为空，报错信息包含关键字“The value of col_double can not be null”。报错信息详情：无法获取到Hudi表预聚合键(preCombineField)的值，或者获取到的值为空。可能由以下原因导致：存在脏数据包含的预聚合键字段为null。对于时间类型字段值为全0 - [在实时集成作业中，并发写入Hudi表导致作业异常，报错信息包含关键字“Receive an unexpected event for instant”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7645.md): 在实时集成作业中，作业运行时出现异常，报错信息包含关键字“Receive an unexpected event for instant”。报错信息详情：实时集成作业中，Hudi作为数据源时不支持多个作业（包括Flink、Spark或任意其他实时集成作业），同时对Hudi表进行写操作，会造成Hudi表丢数、作业异常。排查是否存在多个作业并 - [在实时集成作业中，作业启动失败报错信息包含关键字“Found commits after time :20250728163331006, please rollback greater commits first”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7646.md): 在实时集成作业中，作业启动失败报错信息包含关键字“Found commits after time :20250728163331006, please rollback greater commits first”。报错信息详情：可能存在多个作业并发操作了同一张Hudi表，导致Hudi表的timeline混乱，在一个未完成的commit - [Hudi作为目的端时，同步过程中报错且报错信息包含“HoodieException: Duplicate fileID”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7647.md): Hudi作为目的端时，Hudi表索引类型为BUCKET，作业进入“运行中”后报错，jobmanager、taskmanager中均有报错关键字“HoodieException: Duplicate fileID”。查看Hudi表目录，可以看到问题分区下相同桶ID对应不同的FileID。BUCKET索引的Hudi FileGroupId由 - [进行PostgreSQL增量DDL同步需要做哪些准备？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7648.md): 通过在源库中创建事件触发器和函数来获取源库的DDL信息，然后在Migration的增量实时同步阶段实现DDL操作的同步。当前支持的DDL操作包含如下：表级同步支持：DROP TABLE 、ALTER TABLE（包含ADD COLUMN、DROP COLUMN、ALTER COLUMN、RENAME COLUMN）。表级同步支持：DROP - [MySQL到DWS增量同步中报错，报错信息包含“tinyint out of range”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7649.md): 在MySQL到DWS的实时作业启动后，同步过程中异常，报错关键信息包含“tinyint out of range”。写入目的端DWS时，tinyint类型字段长度溢出。通过报错日志确定溢出的字段，并确保目的端DWS对应字段的类型长度能覆盖源端字段长度。 - [Oracle作为源端进行实时同步时，向Oracle备库实时传输数据时出现错误，怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7650.md): 在使用Oracle作为源端进行实时同步时，同步链路在向Oracle备库实时传输数据时出现错误，错误内容如下：为了确保正确解析二进制日志，Oracle备库在实时同步时需要读取并解析这些日志，解析过程中必须使用与源端相同的字符集。目前，源库为Oracle备库的同步支持以下字符集：ZHS16GBK、AL32UTF8、UTF8、US7ASCII、 - [DDM到Hudi实时同步中，整库场景下运行时报错：“Public Key Retrieval is not allowed”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7651.md): 在实时集成作业中，DDM到Hudi整库场景下运行时报错：“Public Key Retrieval is not allowed”。MySQL默认关闭允许公钥检索机制，因此连接MySQL数据源时，如果TLS不可用、使用RSA公钥加密时，可能导致连接报错。此时可打开公钥检索机制，避免连接报错。在实时作业界面【任务配置】中通过【添加自定义属性 - [从MySQL迁移数据到MRS Hudi，作业启动时报错：“migration.00003060: Upgrade resource group engine version failed. Error details: Package file of version [25.5.4.2.B030] does not exist”怎么办？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7652.md): 在实时集成作业中，从MySQL迁移数据到MRS Hudi，作业启动时报错：“migration.00003060: Upgrade resource group engine version failed. Error details: Package file of version [25.5.4.2.B030] does not ex - [在实时集成作业中，当Oracle作为源端时，若使用SYS/SYSTEM等管理员用户对普通数据表执行DDL变更，作业日志中未查找到该DDL操作，且DDL也未同步至目标端，应如何处理？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7653.md): 在实时集成作业中，当Oracle作为源端时，若使用SYS/SYSTEM等管理员用户对普通数据表执行DDL变更，作业日志中未查找到该DDL操作，且DDL也未同步至目标端。Migration在读取Oracle源端DDL日志时会过滤掉系统用户（SYS/SYSTEM）的日志信息，因为SYS/SYSTEM用户通常会执行一些敏感操作（如修改密码）。出 - [GaussDB数据源如何手动删除复制槽？](https://support.huaweicloud.com/dataartsstudio_faq/dataartsstudio_03_7656.md): GaussDB数据源不会自动删除复制槽，当复制槽数达到上限时需要手动删除复制槽，作业不再使用时，为避免日志堆积也要删除复制槽。GaussDB数据源不会自动删除复制槽。确认要删除的复制槽，复制槽命名规则：migration_作业ID，作业ID可以在实时集成作业监控中查看。方式一：查看作业ID方式二：查看作业ID方式一：查看作业ID方式二：查