大数据 数据湖探索 DLI 数据治理中心 DataArts Studio 数据仓库 服务 GaussDB (DWS) MapReduce服务 MRS 云搜索服务 CSS 父主题： SCP授权参考

查看更多 →

据的分析，企业可以发现市场趋势、需求变化以及潜在风险。这有助于做出准确的决策，提高业务的竞争力。 个性化营销和客户关系管理：大数据技术可以帮助企业更好地了解客户，实现个性化的营销和客户关系管理。通过对客户行为、兴趣和偏好的分析，企业可以精确地进行定制化的产品推荐和营销活动，提高销售转化率和客户满意度。

查看更多 →

支持的大数据组件简介 在华为云大数据存算分离方案中，OBS除了可以与大数据平台对接外，还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下： Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题： 对接大数据组件

查看更多 →

大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估

查看更多 →

大数据校验 新增大数据校验数据连接时，凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？ 创建HBase目的端连接安全集群下的换包操作指南

查看更多 →

大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施

查看更多 →

华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合 华为云计算 、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行H

查看更多 →

大数据校验 大数据校验概述 大数据校验流程 准备工作 创建源端连接 采集元数据 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 新版

查看更多 →

大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 旧版

查看更多 →

大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题： 旧版

查看更多 →

大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云 数据湖 探索（DLI）。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题： 大数据数据迁移（MaxCompute迁移到DLI）

查看更多 →

大数据迁移准备 部署MgC Agent（原Edge） 采集元数据 血缘采集 父主题： 新版

查看更多 →

对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

大数据平台通常需要处理复杂的数据作业。任务调度系统（如Azkaban等）用于管理和调度各种数据处理作业，可以设置作业的依赖关系、调度频率、重试策略等，以确保作业的顺利执行和任务的准时完成。 数据应用： 大数据平台的最终目的是为业务提供有价值的数据应用。数据应用可以是基于大数据分析的实时报表、可

查看更多 →

全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。在24小

查看更多 →

完成以上步骤后，分别创建源端和目的端统计任务，获取源端和目的端的数据信息，进行数据校验。具体操作，请参考创建统计任务并执行校验。 查看校验结果 当源端与目的端的统计任务都执行完成后，可以查看并导出任务的执行结果。具体操作，请参考查看并导出校验结果。 父主题： 大数据校验

查看更多 →

大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题： 旧版

查看更多 →

全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验

查看更多 →

大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s

查看更多 →

对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

单击“操作”列的“授权”去给未授权的索引授权。 单击“设为默认数据”，元数据任务将基于默认数据库创建连接并拉取实例的元数据。 单击“索引”页签，查看已授权资产的连通状态。 资产授权完成后，该资产“连通性”为“检查中”，此时，DSC会测试数据库的连通性。 DSC能正常访问已添加的资产，该资产的“连通性”为“成功”。

查看更多 →