功能总览

集群管理实现的能力如下：

• 集群创建。
• 集群EIP的绑定/解绑。 
• 集群配置修改。
• 集群配置/日志查看/数据监控。
• 监控指标配置。

连接管理实现的能力如下：

• 支持DLI、MRS Hive、Spark SQL、DWS、MySQL、主机等连接管理。
• 支持代理连接、直连、MRS API等连接方式。
  

作业管理可以实现在同构、异构数据源之间进行表或文件级别的数据迁移，支持表/文件迁移的数据源请参见支持的数据源。

适用于数据上云、云服务间数据交换、云上数据迁移到本地业务系统。

数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以：

• 支持管理DWS、MRS Hive等多种数据仓库。
• 支持可视化和DDL方式管理数据库表。

脚本开发功能提供如下能力：

• 提供在线脚本编辑器，支持多人协作进行SQL、Shell等脚本在线代码开发和调测。
• 支持使用变量和函数。
• 支持脚本的版本管理能力。

作业开发功能提供如下能力：

• 提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。
• 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型，通过任务间依赖完成复杂数据分析处理。
• 支持多种作业调度方式。
• 支持导入和导出作业。
• 支持作业状态运维监控和作业结果通知。
• 支持作业的版本管理能力。

用户可以通过图表的形式查看作业实例的统计数据，目前支持查看以下四种统计数据。

• 今日作业实例调度情况概览
• 近七天作业实例调度情况概览
• 近30天作业实例执行时长排行TOP 10：查看执行时间长的作业实例的详细运行记录。
• 近30天作业实例运行失败TOP 10：查看运行异常的作业实例的详细运行记录。

配置管理提供如下能力：

• 主机连接管理。
• 资源管理。
• 环境变量配置。
• 作业标签管理。
• 委托配置。
• 资产备份和还原。

支持实例创建，以及创建时依赖的企业项目、虚拟私有云、子网和安全组等配置。

工作空间从系统层面为管理者提供对使用DataArts Studio的用户（成员）权限、资源、DataArts Studio底层计算引擎配置的管理能力。

工作空间作为成员管理、角色和权限分配的基本单元，每个团队都可具有独立的工作空间。在工作空间管理中，管理员可将相关用户加入到工作空间，并赋予DataArts Studio预设的项目管理员、开发者、运维者、访客等角色，实现多角色协同开发。

通过配置数据源信息，可以建立数据连接。元数据管理支持对数据连接的创建、编辑、连通性测试以及删除；数据连接可以被采集任务、业务指标、数据质量使用。当数据连接保存的信息发生变化时，您只需在数据连接管理中编辑修改该数据连接的信息。

当您需要将A环境已创建好的规则迁移至B环境，可使用数据湖治理中心DataArts Studio的资源迁移功能，对资源进行导入导出。支持迁移的资源包含数据服务、元数据分类、元数据标签、元数据的采集任务和数据连接。

信息架构是以结构化的方式描述在业务运作和管理决策中所需要的各类信息及其关系的一套整体组件规范。在数据架构的“信息架构”页面，可以查看和管理所有的表，包括业务表、维度表、事实表、汇总表等资源。

流程架构基于价值流产生，属于业务架构的流程处理模块，指导并规范BT&IT需求的管理，确保业务需求受理、分析、交付等过程的高效运作；并聚焦高价值需求，实现业务价值最大化，支撑业务运作及目标的达成。

主题设计是通过分层架构表达对数据的分类和定义，帮助厘清数据目录，明确业务领域和业务对象的关联关系。

您可以通过以下两种方式进行主题设计：

• 新建主题
  

  手动新建主题。

• 导入主题设计信息

  如果主题信息比较复杂，建议采用导入方式批量导入主题信息。

  • 您可以下载系统提供的主题设计模板，在模板文件中填写主题的相关参数后，使用模板批量导入主题信息。
  • 您可以预先将某个DataArts Studio实例的数据架构中已建立的主题设计信息导出到Excel文件中。导出后的文件可用于导入。

建立好主题设计信息后，可以对主题信息进行查找、编辑或删除操作。

码表，也称lookup表、数据字典表，一般由中英文名称编码组成，由可枚举数据构成，存储枚举数据名称与编码的映射关系。码表的作用主要有：

• 在数据清洗中用于标准化业务数据以及补充映射字段。
• 在质量监控中用于监控业务数据的值域范围。
• 在维度建模中可以引申为枚举维度。

数据标准是用于描述公司层面需共同遵守的数据含义和业务规则，它描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。

数据标准，也称数据元，由一组属性规定其定义、标识、表示和允许值的数据单元，是不可再分的最小数据单元。您可以将数据标准关联到各个业务上的数据库中。其中，标识符、数据类型、表示格式、值域是数据交换的基础，它们用于描述表的字段元信息，规范字段所存储的数据信息。

支持逻辑模型设计、物理模型设计、逆向数据库、关联质量规则、导入导出模型、查看表。

维度是用于观察和分析业务数据的视角，支撑对数据汇聚、钻取、切片分析，用于SQL中的GROUP BY条件。维度多数具有层级结构，如：地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年度、季度、月度等级别的内容)。创建维度，即从顶层规范业务中实体（或称主数据）的存在性及唯一性。

经过数据调研和需求分析之后，您需要根据需求落地指标。指标是衡量目标总体特征的统计数值，是能表征企业某一业务活动中业务状况的数值指示器。指标一般由指标名称和指标数值两部分组成，指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点，指标数值反映了指标在具体时间、地点、条件下的数量表现。业务指标用于指导技术指标，而技术指标是对业务指标的具体实现。

支持新建原子指标、新建时间限定、新建衍生指标、新建复合指标。

开发环境生成的规范建模、数据处理类任务提交后，都会存储在审核中心页面，然后在审核中心页面进行任务发布，这些任务才会在生产环境上线。

支持数据标准模板管理、功能配置、字段类型管理、DDL模板管理、指标编码规则。

业务指标监控是对业务指标数据进行质量管理的有效工具，可以灵活的创建业务指标、业务规则和业务场景，实时、周期性进行调度，满足业务的数据质量监控需求。

数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。DQC支持数据的标准化，能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。

质量评分为5分制，是以表关联的规则为基础进行评分的。而表、业务对象、主题域等不同维度的评分，本质上是基于规则评分在不同维度下的加权平均值进行计算的。

您可以查询主题域分组、主题域、业务对象、表以及表关联的规则评分。

数据地图围绕数据搜索，服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者，提供方便快捷的数据搜索服务，拥有功能强大的血缘信息及影响分析。

• 搜索：在进行数据分析前，使用数据地图进行关键词搜索，帮助快速缩小范围，找到对应的数据。
• 详情：使用数据地图根据表名直接查看表详情，快速查阅明细信息，掌握使用规则。
• 血缘：通过数据地图的血缘分析可以查看每个数据表的来源、去向，并查看每个表及字段的加工逻辑。

为确保数据使用安全可控，使用数据表需要先申请权限。数据权限模块为用户提供便捷的权限管控能力，提供可视化申请审批流程，并可以进行权限的审计和管理。提高数据安全的同时，还可以方便用户进行数据权限管控。

数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示：

• 权限自助申请：用户可以选择自己需要权限的数据表，在线上快速发起申请。
• 权限审计：管理员可以快速方便地查看数据库表权限对应人员，进行审计管理。
• 权限回收/交还：管理员可以通过用户权限管理及时回收用户权限，用户也可以主动交还不再需要的权限。
• 权限审批管理：提供可视化、流程化的管理授权机制，以及对审批流程进行事后追溯。

按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。

将元数据按用途的不同分为两类：技术元数据（Technical Metadata)和业务元数据（Business Metadata）。

• 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。
• 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。

元数据管理模块是数据湖治理的基石，支持创建自定义策略的采集任务，采集数据源中的技术元数据。支持自定义业务元模型、批量导入业务元数据、关联业务和技术元数据、全链路的血缘管理和应用。

数据服务支持将数据源的表通过可视化配置的向导模式快速生成数据API，您无需具备编码能力，即可在几分钟之内配置好一个数据API。

同时为了满足用户的个性化查询需求，数据服务也提供了自定义SQL的脚本模式，允许您自行编写API的查询SQL，并支持多表关联、复杂查询条件以及聚合函数等功能。

将通过数据表生成的API统一管理和发布到API网关。目前数据服务支持Restful风格的API注册，包含GET/POST常见请求方式。

数据服务提供API托管服务，涵盖API发布、管理、运维、售卖的全生命周期管理。帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、系统集成，向合作伙伴、开发者开放功能和数据。

数据服务是API对外开放或者在自己的应用中调用的最后一道防线，提供了权限管理、流量控制、访问控制等服务，因此在数据服务中生成的API以及注册的API，为了安全起见，都需要发布到服务市场中才能对外提供服务。

数据服务平台的审核中心，提供给API开放方和API调用方用以审核API的上线、下线、申请授权、续约等操作。

• 当API开放方需要将API发布至服务市场，从服务市场下线，取消对某个应用的授权，基于数据服务平台提交操作后，均需要等待审核中心责任人审核后方生效。
• 当API调用方申请API授权和授权续约时，基于数据服务平台提交操作后，也需要等待审核中心责任人审核后方生效。
• 待审核的API可在审核中心由发起者执行撤销操作。

支持创建应用并获取授权、将API授权给应用。API调用者实现一个API的调用，需要完成以下工作。

• 从服务市场获取API。
• 创建应用并获取授权。
• API调用者完成以上准备工作后，可进行调用。

支持创建流控策略、绑定API、删除流控策略。

统一权限治理是数据安全提供的MRS、DWS、DLI等统一数据权限管理能力。基于空间权限集、权限集或角色管理，实现对MRS、DWS、DLI数据源的库表字段访问权限控制，按需为用户、用户组分配最小权限。

对数据湖仓提供敏感数据发现识别、标注能力，根据敏感数据级别在数据分析场景、数据服务场景进行数据权限管控、动态脱敏防护。

在数据集成、数据开发、数据目录、数据服务场景下，隐私保护管理可以通过数据静态脱敏、动态脱敏等方式来防止敏感数据遭到有意或无意的误用、泄漏或盗窃，从而帮助企业采取合理措施来保护其敏感数据的机密性和完整性、可用性。