工业数据处理基础工具链专题设计 数据湖 治理平台设计 工业数据资产库设计 父主题： 行业知识中心方案设计

查看更多 →

pyspark作业对接MySQL，需要创建跨源链接，打通 DLI 和RDS之间的网络。 通过管理控制台创建跨源连接请参考《数据湖探索用户指南》。 通过API创建跨源连接请参考《数据湖探索API参考》。 父主题： 作业开发

查看更多 →

填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 描述 填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/数据汇总层/数据集市层/应用数据层/贴源数据层。 用户名 填写连接FI Hive的机机类型用户名。

查看更多 →

IT数采集成实施 套 OT数采集成实施 套 数据使能方案设计 数据湖治理方案设计-基础包 套 数据湖治理方案设计-增量包 套 ITOT融合方案设计 套 数智融合方案设计 套 数据使能方案实施 数据湖治理方案实施-基础包 套 数据湖治理方案实施-增量包 套 ITOT融合方案实施 套 数智融合方案实施

查看更多 →

应用场景 数据湖建设和持续运营 多服务/多集群共享元数据

查看更多 →

testhbase").show(); 提交Spark作业 将写好的代码文件生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果 MRS 集群开启了Kerberos认证，创建Spark作业时需要将krb5.conf和user

查看更多 →

大数据 数据湖探索 DLI 数据治理中心 DataArts Studio 父主题： SCP授权参考

查看更多 →

DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 开启Kerberos认证时的相关配置文件

查看更多 →

将写好的代码生成jar包，上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。

查看更多 →

根据国家法律规定，所有用户必须完成实名认证后才能使用云服务。 如果您已完成实名认证，可跳过该步骤。具体操作可参见实名认证。 服务授权 登录华为云，进入数据湖探索管理控制台后，为保证正常使用数据湖探索功能，建议先进行委托权限设置。 第一次登录时进行设置后，后续无需重复设置。如果需要进行调整，可在“全局配置”>“服务授权”中进行修改。

查看更多 →

描述 类别 授权方式 DLI FullAccess 数据湖探索所有权限。 系统策略 具体的授权方式请参考创建IAM用户并授权使用DLI以及《如何创建子用户》和《如何修改用户策略》。 DLI ReadOnlyAccess 数据湖探索只读权限。 系统策略 Tenant Administrator

查看更多 →

终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同，您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示，请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区 域名 称 区域 终端节点（Endpoint） 华北-北京四 cn-north-4 dli

查看更多 →

填写数据源的名称，根据规划自定义。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。 描述 填写数据源的描述信息。 数据湖分层 选择对应的数据湖分层：业务数据层/操作数据层/明细数据层/数据汇总层/数据集市层/应用数据层/贴源数据层。 用户名 填写连接Hive的机机类型用户名。

查看更多 →

Doris应用开发指导 Doris组件使用规范 建表 数据导入 数据湖分析 通过JDBC方式连接Doris 开发Doris冷热分离应用

查看更多 →

技术培训：针对数据运营（数据使能解决方案）进行方法论以及数据湖治理中心（DGC）使用的技术培训。 以下内容是华为云智能数据专家服务不包括的： 客户源系统具体数据内容梳理（数据表、字段内容梳理）。 客户主题库相关设计工作（可参与评审）。 数据内容相关实施工作，即基于数据湖治理中心（DGC）进行数据开发相关工作。

查看更多 →

Studio是具备数据全生命周期管理和智能数据管理能力的一站式 数据治理 平台，基于数据湖底座，提供数据集成、开发、治理等能力。针对不同的使用场景，我们提供了不同的使用方案示例： 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需版本 业务能力 适用场景 入门使用者：基于电商BI报表的数据开发流程

查看更多 →

数据管理功能可以协助用户快速建立数据模型，为后续的脚本和作业开发提供数据实体。通过数据管理，您可以： 支持管理DWS、MRS Hive、MRS Spark、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意，在MRS API连接方式下，不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。

查看更多 →

其他常用操作 导入数据至DLI表的方式 数据湖探索监控指标说明及查看指导 云审计 服务支持的DLI操作列表说明 配额管理

查看更多 →

Data Migration，简称 CDM ），是一个高效、易用的批量数据迁移服务。CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效地提高数据迁移和集成的效率。 关于数据集成工具的具体使用方法可以参考用户手册。

查看更多 →

数据架构支持逆向数据库吗？ 数据架构支持逆向数据库，目前支持基于 数据仓库 服务（DWS）、数据湖探索（DLI）、 MapReduce服务 （MRS Hive）的数据库逆向。 父主题： 数据架构

查看更多 →

中找到“数据湖探索”服务。在Flink作业中找到目标作业，单击“创建告警规则”。 图6 云服务监控 图7 创建告警规则 DLI 为Flink作业提供了丰富的监控指标，用户可以依据自身需求使用不同的监控指标定义告警规则，实现更细粒度的作业监控。 监控指标说明请参考《数据湖探索用户指南》>《数据湖探索监控指标说明》。

查看更多 →