大数据 数据湖探索 DLI 数据治理中心 DataArts Studio 数据仓库 服务 GaussDB (DWS) MapReduce服务 MRS 云搜索服务 CSS 父主题： SCP授权参考

查看更多 →

大数据血缘 部署迁移工具Edge 采集元数据 血缘采集

查看更多 →

大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？

查看更多 →

大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明

查看更多 →

对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 自定义参数说明

查看更多 →

大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：

查看更多 →

大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s

查看更多 →

对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

授权大数据资产 如果您的资产是自建大数据类型，请先添加大数据类型实例再进行授权大数据。 如果您的资产属于云上大数据类型，请按照授权大数据直接给大数据授权。 如果您的资产为DLI数据库，请参照添加DLI数据库进行添加。 前提条件 已完成数据库资产委托授权，参考云资产委托授权/停止授权进行操作。

查看更多 →

大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍

查看更多 →

大数据分析 人工智能应用 场景概述 2016年AlphaGo横空出世，4:1战胜李世石，17年又以3:0战胜世界围棋冠军柯洁，此后三年，星际，Dota2，德州扑克等均涌现出超高水平AI。人工智能应用在其中起到了不可替代的作用。 游戏智能体通常采用深度强化学习方法，从0开始，通过与

查看更多 →

创建源端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建源端连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）

查看更多 →

华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合 华为云计算 、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行H

查看更多 →

支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件

查看更多 →

大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验

查看更多 →

大数据优化与提升服务 结合华为自身理论经验，帮助企业规划构建大数据体系和治理平台。 产品介绍 常见问题 计费说明 父主题： 优化与提升

查看更多 →

选择在Edge添加的Doris凭证。凭证的添加方式请参考添加资源凭证，类型选择“大数据-Doris”。 数据库地址 填写连接到Doris集群部署的 服务器 IP地址。 数据库端口 填写连接到Doris集群部署的服务器的端口。默认为3306。 数据库名 填写Doris数据库名称。 表4 HBase连接参数配置说明

查看更多 →

客户端 优化 域名 解析请求 选择合适的镜像 避免IPVS缺陷导致的DNS概率性解析超时 使用节点DNS缓存NodeLocal DNSCache 及时升级集群中的CoreDNS版本 谨慎调整VPC和虚拟机的DNS配置 父主题： CoreDNS配置优化实践

查看更多 →

安装报表服务器和数据库客户端 图1 安装1 配置报表 图2 配置报表 下一步 配置 图3 下一步 完成 图4 完成 测试报表Web 服务 URL 图5 测试报表Web 服务 URL Web 门户URL 图6 Web 门户URL 父主题： 安装测试环境

查看更多 →

华为云提交《项目调研报告》，客户确认报告内容，双方达成一致 设计大数据基础设施方案 设计云上架构，选择合适的云产品 设计合适的大数据基础设施架构 华为云提交《大数据基础设施方案》，客户确认报告内容，双方达成一致 验收项目 准备大数据基础设施方案相关文档 准备大数据基础设施方案验收会议 华为云提交《项目验收报告》，客户签名确认完成验收

查看更多 →