大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数

查看更多 →

大数据 数据湖探索 DLI 数据治理中心 DataArts Studio 数据仓库 服务 GaussDB (DWS) MapReduce服务 MRS 云搜索服务 CSS 父主题： SCP授权参考

查看更多 →

大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？

查看更多 →

大数据血缘 部署迁移工具Edge 采集元数据 血缘采集

查看更多 →

大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估

查看更多 →

大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明

查看更多 →

大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施

查看更多 →

大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s

查看更多 →

大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：

查看更多 →

大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明

查看更多 →

大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是

查看更多 →

对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

授权大数据资产 对大数据资产进行敏感数据识别或数据脱敏则需要对实例下的数据库进行授权，该章节介绍如何对数据库进行授权操作。 前提条件 已开通DLI、 CS S服务，且DLI、CSS中已有资产，且对应子网下含有可用的IP配额。 授权大数据 这里以Elasticsearch大数据类型为例

查看更多 →

大数据性能优化 HIVE优化 Spark性能优化 Flink性能优化 父主题： 云服务性能优化介绍

查看更多 →

大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计

查看更多 →

大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据

查看更多 →

大数据分析 人工智能应用 场景概述 2016年AlphaGo横空出世，4:1战胜李世石，17年又以3:0战胜世界围棋冠军柯洁，此后三年，星际，Dota2，德州扑克等均涌现出超高水平AI。人工智能应用在其中起到了不可替代的作用。 游戏智能体通常采用深度强化学习方法，从0开始，通过与

查看更多 →

大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平

查看更多 →

大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。

查看更多 →

添加大数据资产 如果您的资产是自建大数据类型，请参照此章节将大数据实例添加到DSC服务。 如果您的资产为DLI数据库，请参照添加DLI数据库进行添加。 前提条件 已完成数据库资产委托授权，参考云资产委托授权/停止授权进行操作。 已获取自建ES、HBase以及Hive数据源的版本、

查看更多 →