大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数

查看更多 →

大数据 云搜索服务 CSS 数据治理中心 DataArts Studio 数据湖探索 DLI MapReduce服务 MRS 数据仓库 服务 GaussDB (DWS) 父主题： 身份策略授权参考

查看更多 →

大数据 云搜索 服务 CS S 数据治理 中心 DataArts Studio 数据湖 探索 DLI MapReduce服务 MRS 数据仓库服务 GaussDB(DWS) 父主题： 身份策略授权参考

查看更多 →

大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估

查看更多 →

大数据校验 新增大数据校验数据连接时，凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？ 创建HBase目的端连接安全集群下的换包操作指南

查看更多 →

大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施

查看更多 →

大数据校验 大数据校验概述 大数据校验流程 准备工作 创建源端连接 采集元数据 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明

查看更多 →

下，企业数字化转型已从一个选择 性的优势项，变成了企业生存发展的必需项。 工信部印发了《推动企业上云实施指南（2018-2020年）》，意在推动企业利用云计算加快数字化、网络化、智能化转型，推进互联网、大数据、人工智能与实体经济深度融合。 企业上云已经从潮流变为标配，云的新技术也

查看更多 →

大数据迁移准备 部署MgC Agent 采集元数据 血缘采集

查看更多 →

s生态，构建帮助用户提升资源利用率，实现降本增效的云原生混部解决方案。 如上图所示，混部不是简单将多个不同的业务部署在同一个集群中那么简单，而需要确保用户的应用能够部署到合适的位置，并能保障其需要的资源。这也是云原生混部解决方案中的核心设计：资源分级管控。 资源分级管控 应用被调

查看更多 →

大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是

查看更多 →

大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 注意事项 创建的源端统计

查看更多 →

登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“上云规划”，进入上云规划页面。 选择大数据迁移评估页签，单击“创建大数据迁移评估”按钮，进入大数据迁移评估页面。 图1 创建大数据迁移评估 单击“添加评估”按钮，设置“数据校验资源评估”参数，具体参数参见表1。 表1 Hive表迁移资源评估表

查看更多 →

大数据校验流程 进行大数据校验的完整的操作流程，如图1所示。 图1 大数据校验操作流程图 步骤 操作 准备工作 注册华为账号 并开通华为云，为账户充值。 创建IAM用户并授权、获取访问密钥等相关资源。 创建大数据迁移项目。 安装MgC Agent并连接迁移中心。 选择并启用MgC Agent。

查看更多 →

大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s

查看更多 →

对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS Spark on iceberg最佳实践

查看更多 →

大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索（DLI）。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题： 大数据数据迁移（MaxCompute迁移到DLI）

查看更多 →

对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 应用场景 报表分析 实时看板（Dashboards）。 面向企业内部分析师和管理者的报表。 面向用户或者客户的高并发报表分析（Customer Facing Analytics）。比如面向网站主的站点分析、面向广

查看更多 →

大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计

查看更多 →

大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据

查看更多 →