针对读操作进行优化 针对写操作进行优化 什么是 数据湖 ？ 在企业内部，数据是一类重要资产已经成为了共识。随着企业的持续发展，数据不断堆积，企业希望把生产经营中的所有相关数据都完整保存下来，进行有效管理与集中治理，挖掘和探索数据价值。 数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结

查看更多 →

数据加载支持哪些数据源？ 数据加载支持不同存储之间的数据迁移，源端支持OBS（数据湖OBS和租户OBS）、HIVE或DWS存储。目标端支持OBS（数据湖OBS）、HIVE、DWS或HDFS存储。同时支持本地上传数据至OBS（数据湖OBS）。 父主题： 数据加载

查看更多 →

查询API版本信息 裸金属服务器 生命周期管理 裸金属 服务器 状态管理 裸金属服务器规格管理 裸金属服务器网卡管理 裸金属服务器云硬盘管理 裸金属服务器元数据管理 裸金属服务器租户配额管理 裸金属服务器密码管理 Job管理 裸金属服务器的标签管理 裸金属服务器SSH密钥管理（OpenStack原生）

查看更多 →

的异构数据进行探索。 您可以使用本文档提供API对数据湖探索进行相关操作，包括队列、SQL作业、Flink作业、Spark作业和跨源连接等等。支持的全部操作请参见API概览。 在调用数据湖探索API之前，请确保已经充分了解数据湖探索相关概念。详细信息请参见产品介绍。 父主题： API使用前必读

查看更多 →

数据资产管理：360度全链路数据资产可视化 DataArts Studio 提供企业级的元数据管理，厘清信息资产。数据资产管理可视，支持钻取、溯源等。通过数据地图，实现数据资产的数据血缘和数据全景可视，提供数据智能搜索和运营监控。 元数据管理 元数据管理模块是数据湖治理的基石，支持创建自定义策略的采集任务，可采集数据

查看更多 →

节点集群的形式对外提供服务。对于Kafka实例/集群而言，需要依托于zookeeper进行构建，zookeeper用作Kafka集群的元数据管理，每个Kafka实例在各节点上会有一个zookeeper实例与其对应，存储broker内的消息、topic等数据。对于整体架构而言，先启

查看更多 →

规格管理（OpenStack Nova API） 网卡管理（OpenStack Nova API） 磁盘管理（OpenStack Nova API） 元数据管理（OpenStack Nova API） 租户配额管理（OpenStack Nova API） 密钥、密码管理（OpenStack Nova

查看更多 →

通过配置数据源信息，可以建立数据连接。元数据管理支持对数据连接的创建、编辑、连通性测试以及删除；数据连接可以被采集任务、业务指标、数据质量使用。当数据连接保存的信息发生变化时，您只需在数据连接管理中编辑修改该数据连接的信息。 创建数据连接 资源迁移 当您需要将A环境已创建好的规则迁移至B环境，可使用数据湖治理中心DataArts

查看更多 →

perty进行修改。 编辑元数据文件完成后，将覆盖之前的元数据文件。为避免数据丢失，建议您在编辑前，先复制一份元数据。 操作步骤 在“元数据管理”页面，编辑元数据有两个入口： 单击对应元数据文件名称，进入元数据详情页，在页面底端单击“编辑”。 在对应元数据文件的“操作”列，单击“编辑”。

查看更多 →

裸金属服务器生命周期管理（OpenStack Nova API） 裸金属服务器状态管理（OpenStack Nova API） 裸金属服务器元数据管理（OpenStack Nova API） 裸金属服务器IP地址查询（OpenStack Nova API） 裸金属服务器规格查询（OpenStack

查看更多 →

用当前登录用户的权限进行部署。 第一次使用数据湖数据湖 DLI 时需要登录DLI控制台，如果使用IAM子账户部署该解决方案，请参考部署指南确保该账号已经有DLI的相关授权，第一次使用DLI时候也需要用子账号登录一次控制台。具体请参考数据湖探索 DLI帮助文档。

查看更多 →

用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。创建数据连接的详细操作请参见创建DataArts

查看更多 →

Formation，简称LakeFormation）是企业级数据湖一站式构建服务。 在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API，兼容Hive元数据模型以及Ranger权限模型，支持对接 MapReduce服务 （ MRS ）、 数据仓库 服务 GaussDB （DWS）、数据湖探索（DLI）、 AI开发平台 ModelArts、 数据治理中心

查看更多 →

属性级别约束条件 属性级别 约束条件 说明 单值/多值 存在'has' 含有该属性。 单值/多值 不存在'hasNot' 不含有该属性。 父主题： 元数据管理API

查看更多 →

据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化（如密码过期）时，此连接会失效。建议您将数据湖认证信息设定为永久有效，避免由于连接失败导致业务受损。 当前DataArts

查看更多 →

将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

独立，使用场景各有不同。 管理中心的数据连接用于对接数据湖底座，DataArts Studio基于数据湖底座，提供一站式数据开发、治理和服务等能力。 数据集成的数据连接仅限于在数据集成中使用，用于将源端原始数据集成到目的端数据湖底座中。 父主题： 管理中心

查看更多 →

LakeFormation适用哪些场景 LakeFormation适用于以下场景： 数据湖建设和持续运营：数据湖建设和持续运营，是指数据湖的初始化建设及后续日常的海量元数据及权限管理，因此客户需要便捷高效的建设和管理方式。 多计算引擎共享元数据：多计算引擎共享元数据，是指客户的多

查看更多 →

Iceberg是一种开放的数据湖表格式，可以基于Iceberg快速地在HDFS或OBS上构建自己的数据湖存储服务。 Iceberg当前为公测阶段，若需使用需联系技术支持申请白名单开通。 当前版本Iceberg仅支持Spark引擎，如需使用其他引擎构建数据湖服务，请使用Hudi。 图1

查看更多 →

管理中心典型场景教程 新建DataArts Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题： 管理中心

查看更多 →