数据湖 分析 多源数据目录 父主题： Doris应用开发指导

查看更多 →

规划数据湖 MRS 对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog，名称为“default”的数据库。 LakeFormation实例创建成功后，用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。

查看更多 →

从“节点库”中选择“数据集成”下的“RestClient”节点，拖拽节点如图1所示。“RestClient”节点参数配置说明请参见 “数据治理中心 DataArts Studio >用户指南>数据开发>节点> Rest Client”。 图1 重新执行作业节点配置 使用DLF时，无需进行鉴权。

查看更多 →

参考《数据湖探索开发指南》。 数据治理中心DataArts Studio 数据治理中心DataArts Studio具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台，支持行业知识库智能化建设，支持大数据存储、大数据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数

查看更多 →

数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖

查看更多 →

None 服务介绍 数据湖探索 DLI 介绍什么是数据湖探索 02:47 数据湖探索DLI产品介绍 功能介绍 数据湖探索 DLI 熟悉数据湖探索控制台 03:10 数据湖探索控制台介绍 操作指导 数据湖探索 DLI 介绍怎样创建提交SQL作业 07:36 数据湖探索SQL作业入门指导

查看更多 →

variable * - dli:catalog:list 授予数据目录列表查询权限。 list - - dli:catalog:bind 授予数据目录绑定权限。 write - - dli:catalog:get 授予数据目录详情查询权限。 read - - dli:queue:list

查看更多 →

本实践通过DataArts Studio服务的数据开发DLF组件和数据湖探索服务（DLI）对某电商商城的用户、商品、评论数据（脱敏后）进行分析，输出用户和商品的各种数据特征，可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间，您可以学习到数据开发模块脚本编辑、作业编辑

查看更多 →

权限迁移 操作场景 在完成元数据迁移后，可以将对应元数据的权限迁移至LakeFormation，迁移成功后为元数据绑定的默认Owner将会拥有元数据的操作权限。 前提条件 已参考元数据迁移完成元数据迁移。 当前用户具有OBS相关操作权限，且已创建用于存储数据的OBS并行文件系统。 需

查看更多 →

一站式可视化 湖仓构建 ：提供数据湖元数据统一定义和授权的可视化界面，支持用户便捷操作，快速构建。 联动授权：支持在元数据授权的同时，自动化完成元数据所映射的文件目录的授权，使用户授权操作更便捷和高效。 细粒度访问控制：实现针对数据湖的库、表、列级元数据的细粒度访问控制，为业务数据的安全性提供有力保障。

查看更多 →

作为数据治理的一个核心模块，承担数据治理过程中的数据加工并业务化的功能，提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功能，有利于改善数据质量，有效支撑经营决策。 数据开发 大数据开发环境，降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。支持数据建模、数据

查看更多 →

图解数据湖探索

查看更多 →

示例场景说明 本实践通过DataArts Studio服务的数据集成 CDM 组件、数据开发DLF组件和数据仓库服务（DWS）对电影评分原始数据进行分析，输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能，以及DWS SQL基本语法。

查看更多 →

创建数据连接”。 图1 创建数据连接 单击“创建数据连接”，在弹出的页面中，选择“数据连接类型”为“数据仓库服务（DWS）”，并参见表1配置相关参数。 图2 DWS连接配置参数 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为数据仓库服务（DWS）。

查看更多 →

过两个数据库（开发环境添加后缀“_dev”，生产环境无后缀）进行开发生产环境隔离，两套环境中数据库模式（仅DWS需要）和数据表必须保持同名。 数据库、数据库模式（仅DWS需要）、数据表等新建完成后，如果涉及原始数据表等，您还需要将两套数据湖服务之间的数据进行同步： 数据湖中已有数

查看更多 →

是否需要重新执行任务。 以上功能，我们也可以使用数据治理中心 DataArts Studio，通过拖拽的方式完成配置。具体操作步骤如下： 登录数据治理中心 DataArts Studio管理控制台，在控制台的左侧导航栏，选择“数据开发 > 作业开发”。 在“工作区”页面的右侧，单击“新建作业”。

查看更多 →

如何查看表行数和库大小 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情可参考本实践。 通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要，数据对账的能力是

查看更多 →

API连接仅支持在数据开发组件使用，其他组件例如数据架构、数据质量、数据目录等无法使用此连接。 在数据开发组件不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。特别的，仅当连接MRS 3.2.1以及之后版本的MRS集群时，支持通过可视化方式查看数据库、数据表和字段，但仍不支持可视化方式管理。

查看更多 →

创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。

查看更多 →

目录下有数据无法删除。 请先删除目录下数据。 400 DLF.6259 A resource with the same name already exists in the directory. 目录下已经存在同名的资源。 请检查目录下是否存在同名的资源。 400 DLF.6263

查看更多 →

第二类工具，关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具，元数据缺失，湖里的数据质量就没法保障，最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展，数据湖中数据的

查看更多 →