且账号不能处于欠费或冻结状态。 第一次使用 数据湖 数据湖 DLI 时需要登录DLI控制台，如果使用IAM子账户部署该解决方案，请参考部署指南确保该账号已经有DLI的相关授权，第一次使用DLI时候也需要用子账号登录一次控制台。具体请参考数据湖探索 DLI帮助文档。

查看更多 →

务。 CDM 围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。更多详情请参见 云数据迁移 服务。 CDM进行数据迁移时，目标端为数据湖或其他大数据系统；源端可以是数据库也可以是对象存储。

查看更多 →

务。CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。更多详情请参见云数据迁移服务。 CDM进行数据迁移时，目标端为数据湖或其他大数据系统；源端可以是数据库也可以是对象存储。

查看更多 →

完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态 DLI服务在Stream SQL中支持与其他服务的连通。用户可

查看更多 →

CDM：高效、易用的批量/增量数据迁移和同步服务，提供了40+数据源到数据湖仓的集成能力； 数据治理中心 DataArts Studio ：提供数据标准和数据模型的规范设计，以及数据分析流程的在线开发、任务编排调度等的一站式 数据治理 能力； 数据湖探索服务 DLI：是一个完全兼容Spark、FLink

查看更多 →

测试连接通过后，单击“确认”按钮，创建云服务连接完成。 选择元数据管理，单击创建数据湖元数据同步任务按钮，右侧弹出创建任务-数据湖元数据同步窗口。 图4 创建数据湖元数据同步任务 根据表2，配置数据湖元数据同步任务参数后，单击“确认”按钮，创建数据湖元数据同步任务。 表2 元数据同步任务参数配置说明 参数

查看更多 →

IT数采集成实施 套 OT数采集成实施 套 数据使能方案设计 数据湖治理方案设计-基础包 套 数据湖治理方案设计-增量包 套 ITOT融合方案设计 套 数智融合方案设计 套 数据使能方案实施 数据湖治理方案实施-基础包 套 数据湖治理方案实施-增量包 套 ITOT融合方案实施 套 数智融合方案实施

查看更多 →

M集群请参考创建CDM集群进行创建），且待连接的数据湖与CDM集群之间网络互通。 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络。请确保数据源所在的主机和CDM集群均能访问公网，并且防火墙规则已开放连接端口。 如果数据湖为云上服务（如DWS、 MRS 等），则网络互通需满足如下条件：

查看更多 →

pyspark作业对接MySQL，需要创建跨源链接，打通DLI和RDS之间的网络。 通过管理控制台创建跨源连接请参考《数据湖探索用户指南》。 通过API创建跨源连接请参考《数据湖探索API参考》。 父主题： Spark作业开发类

查看更多 →

数据权限概述 数据湖权限支持配置数据库、数据表、函数等维度的权限。 云服务管理员可针对不同的管理对象配置不同用户组的权限，统一对数据湖资源进行管理。 对于IAM用户/用户组，也可以通过关联LakeFormation服务的细粒度权限策略进行特性权限场景的授权，参见创建LakeFor

查看更多 →

咨询与计费 区域和可用区如何选择？ 数据库、 数据仓库 、数据湖与华为智能数据湖方案是什么，有哪些区别和联系？ DataArts Studio和沃土是什么关系？ DataArts Studio和ROMA有什么差异？ DataArts Studio是否支持私有化部署到本地或私有云？ 如何在IAM中创建细粒度权限策略？

查看更多 →

华为云大数据上云与实施服务优势？ 高效的迁移工具保障客户业务连续性：云数据迁移CDM服务支持，围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力。数据迁移工具实现Hive、HBase、HDFS（全量、增量数据）迁移到MRS、DLI，数据校验工具

查看更多 →

多源数据目录 概述 Hive 父主题： 数据湖分析

查看更多 →

描述 类别 授权方式 DLI FullAccess 数据湖探索所有权限。 系统策略 具体的授权方式请参考创建IAM用户并授权使用DLI以及《如何创建子用户》和《如何修改用户策略》。 DLI ReadOnlyAccess 数据湖探索只读权限。 系统策略 Tenant Administrator

查看更多 →

CUs。），因此在2023/03/10 15:50:04变更弹性资源池规格为128CU。弹性资源池计费详情请参见数据湖探索价格详情。 价格仅供参考，实际计算请以数据湖探索价格详情中的价格为准。 该示例计费详情如表1所示。 表1 包年/包月弹性资源池+扩缩容场景计费示例 计费模式 计算规则

查看更多 →

示例场景说明 本实践通过DataArts Studio服务的数据开发DLF组件和数据湖探索服务（DLI）对某电商商城的用户、商品、评论数据（脱敏后）进行分析，输出用户和商品的各种数据特征，可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间，您可以学

查看更多 →

提供海量、安全、高可靠、低成本的数据存储能力，使用时无需考虑容量限制，并且提供多种存储类型供选择，满足客户各类业务场景诉求。 数据湖探索 DLI：数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLo

查看更多 →

离线数据集成：离线数据集成可以从数据湖中集成离线数据，或者直接集成本地文件到Doris中。离线数据湖中的数据可以通过CDM或者加载外表的方式进行数据集成，本地文件则通过Doris自带的StreamLoad工具进行本地文件加载。 离线数据加载 离线数据可以从数据湖加载，也可以直接加载本地文件。从数据湖加载可

查看更多 →

终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示，请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区 域名 称 区域 终端节点（Endpoint） 华北-北京四 cn-north-4 dli

查看更多 →

数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以： 支持管理DWS、MRS Hive、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意，在MRS API连接方式下，不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。

查看更多 →

应用场景 数据湖建设和持续运营 多服务/多集群共享元数据

查看更多 →