大数据校验 新增大数据校验数据连接时，凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI 校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？ 创建HBase目的端连接安全集群下的换包操作指南

查看更多 →

大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估

查看更多 →

数据分析 数据统计分析，基于大数据思维，通过对网站各项内容指标的统计，为网站的运维和绩效管理提供有效的数据支撑。 系统可以对门户网站的性能指标进行监控，可以以浏览器方式动态的展示相关的监控指标，并且可以监控网站的访问情况，生成访问日志，详细一的记录访问网站的IP地址、所访问的栏目等内容。

查看更多 →

通过Flume采集指定目录日志系统文件至HDFS 基于Kafka的Word Count数据流统计案例 实时OLAP数据分析 物联网时序数据分析

查看更多 →

数据分析 分发统计 播放统计

查看更多 →

数据分析 使用 GaussDB (DWS)秒级查询交通卡口通行车辆行驶路线 使用GaussDB(DWS)分析某公司供应链需求 使用GaussDB(DWS)分析零售业百货公司经营状况

查看更多 →

数据分析 您可以为 域名 定制运营报表来查看不同时段的统计数据，方便了解域名运行情况，及时调整业务。 注意事项 运营报表中最多可支持添加100个加速域名。 定制的运营报表有效期最长为1年。 可查询的时间跨度最长为31天，支持查看最近90天的历史数据。 最小统计粒度以天为单位。 统计时

查看更多 →

IoT数据分析 IoT数据分析基于物联网资产模型，整合物联网数据集成，清洗，存储，分析，可视化，为开发者提供一站式服务，降低开发门槛，缩短开发周期，快速实现物联网数据价值变现。它包含“获取资产详情”、“删除资产模型”、“获取资产模型详情”、“发布资产”、“获取资产列表”、“删除资

查看更多 →

Doris数据分析 导出Doris数据至HDFS 导出Doris查询结果集 父主题： 使用Doris

查看更多 →

API数据分析 API数据分析页面通过图表的形式，直观地展示您在API网关代理中已经发布的所有API被调用的情况。 前提条件 已成功申请入驻成为API中心服务商。具体操作指导参见服务商入驻。 查看步骤 进入API中心服务页面。 在左侧导航栏选择“API数据分析”。 资源概览区域参数的含义如表1所示。

查看更多 →

CarbonData数据分析 新建CarbonData Table 删除CarbonData Table 修改CarbonData Table 加载CarbonData表数据 删除CarbonData表Segments 合并CarbonData表Segments 父主题： 使用CarbonData（ MRS

查看更多 →

大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展，对数据价值的认识逐渐加深，大数据已经融入到了各行各业。根据相关调查报告数据显示，超过39.6%的企业正在应用大数据并从中获益；超过89.6%的企业已经成立或计划成立相关的大数据分析部门；超过六成的企业

查看更多 →

，需要使用安全加密通道，配置如下参数。安全Hadoop RPC相关信息请参考： MRS 3.2.0之前版本：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SecureMode.htm

查看更多 →

缺省值为“3des”，表示采用3DES算法进行加密。此处的值还可以设置为“rc4”，避免出现安全隐患，不推荐设置为该值。 3des HDFS hadoop.rpc.protection 设置Hadoop中各模块的RPC通道是否加密。包括： 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道，如Da

查看更多 →

大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题： 旧版

查看更多 →

大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 新版

查看更多 →

大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 旧版

查看更多 →

大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施

查看更多 →

MapReduce服务 （MRS）提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件，用户无需关注硬件的购买和维护。MRS服务拥有强大的Hadoop内核团队，基于华为 FusionInsight 大数据企业级平台构筑，历经行业数万节点部

查看更多 →

Hive是一个 数据仓库 工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2.3.3-bin.tar.gz，并解压到/opt/hive-2

查看更多 →

大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是

查看更多 →