将 GaussDB 分布式版同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB分布式 GaussDB分布式 说明： 仅支持目标库版本等于或高于源库版本。 支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同

查看更多 →

Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

大数据技术发展趋势及鲲鹏大数据 3% HDFS分布式文件系统和 ZooKeeper 12% Hive 分布式数据仓库 10% HBase技术原理 11% MapReduce 和 Yarn 技术原理 9% Spark 基于内存的分布式计算 7% Flink 流批一体分布式实时处理引擎 8% Flume海量日志聚合

查看更多 →

其他组件(华为提供) 表1 其他组件 文档数据库服务DDS 对象存储服务 OBS 弹性文件服务SFS MRS 服务 分布式消息服务 DMS Kafka版 数据仓库服务DWS 父主题： 实施步骤

查看更多 →

将GaussDB分布式版同步到GaussDB分布式版 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB分布式 GaussDB分布式 说明： 仅支持目标库版本等于或高于源库版本。 支持的同步对象范围 在使用DRS进行同步时，不同类型的同步任务，支持的同

查看更多 →

快速创建和使用Hadoop离线数据分析集群 操作场景 本入门提供从零开始创建Hadoop离线数据分析集群并通过集群客户端提交一个wordcount作业的操作指导。wordcount是最经典的Hadoop作业，用于统计海量文本的单词数量。 Hadoop集群完全使用开源Hadoop生态，采

查看更多 →

HDFS文件系统目录简介 HDFS是Hadoop的分布式文件系统（Hadoop Distributed File System），实现大规模数据可靠的分布式读写。HDFS针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在

查看更多 →

TaurusDB 云数据库 GeminiDB 云搜索服务 CSS 云硬盘 EVS 云证书管理服务 CCM 分布式消息服务Kafka版 分布式消息服务RabbitMQ版 分布式消息服务RocketMQ版 组织 Organizations 云防火墙 CFW 云备份 CBR 对象存储服务

查看更多 →

大数据问题。为解决以上大数据处理问题，Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台，可以充分利用集群的计算和存储能力，完成海量数据的处理。企业自行部署Hadoop系统有成本高，周期长，难运维和不灵活等问题。 针对上述问题，华为

查看更多 →

注册企业分布式身份 功能介绍 注册企业分布式身份 URI POST /v1/{project_id}/tdis/firm-did 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户从IAM申请到的projectid，一般为32位字符串 最小长度：32

查看更多 →

查询分布式身份文档 功能介绍 查询分布式身份文档 URI GET /v1/{project_id}/tdis/did/{did} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户从IAM申请到的projectid，一般为32位字符串 最小长度：32

查看更多 →

注册个人分布式身份 功能介绍 注册个人分布式身份 URI POST /v1/{project_id}/tdis/did 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户从IAM申请到的projectid，一般为32位字符串 最小长度：32

查看更多 →

分布式执行框架 GS_235100005 错误码： Stream plan check failed. Execution datanodes list of stream node[%d] mismatch in parent node[%d]. 解决方案：请使用INTERNAL

查看更多 →

分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的hbase数据表。 开发思路 设置scan的规则，例如：setCaching。

查看更多 →

缩容实例分片（分布式） 操作场景 实例进行读写分离或者业务冗余数据清理等操作后DN节点使用率会下降，此时可通过分片缩容避免成本浪费。GaussDB分布式独立部署形态支持分片缩容操作。 注意事项 缩容时长与业务数据量有关，默认缩容操作超时时间为7天，缩容中实例可正常使用，但不允许进

查看更多 →

Service, EVS），可以为 云服务器 提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务，可满足不同场景的业务需求，适用于分布式文件系统、开发测试、数据仓库以及高性能计算等场景。云 服务器 包括 弹性云服务器 和 裸金属服务器 。 云硬盘简称为磁盘。

查看更多 →

DLI Flink作业将Kafka的消费数据实时同步至GaussDB(DWS)数据仓库，实现Kafka实时入库到GaussDB(DWS)的过程。 了解DLI请参见 数据湖 产品介绍 。 了解Kafka请参见分布式消息服务Kafka产品介绍。 图1 Kafka实时入库DWS 具体操作请参见通过DLI

查看更多 →

导入样例数据，再使用聚合函数、group by、order by、视图进行多维度分析。 1.5h SQL on Hadoop 导入MRS-Hive数据源 创建数据仓库集群GaussDB(DWS)，并导入MRS的Hive数据，实现跨集群进行大数据融合分析。 1.5h 二次开发 使用Java进行二次开发

查看更多 →

中连续捕获、传送和存储数TB数据。 数据仓库服务 GaussDB(DWS) 数据仓库服务（Data Warehouse Service，简称DWS）是完全托管的企业级云上数据仓库服务，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。适用于对海量日志进行存储，分析等场景。

查看更多 →

数据仓库服务GaussDB(DWS)接入LTS 支持数据仓库GaussDB（DWS）日志接入LTS。 具体接入方法请参见集群日志管理。 父主题： 使用云服务接入LTS

查看更多 →

由于关系型数据库所采用的JDBC驱动相同，所以连接参数也一样，具体参数请参见PostgreSQL/SQLServer连接参数说明。 数据仓库服务（DWS） 连接数据仓库服务（DWS）时，具体参数请参见数据仓库服务（DWS）连接参数说明。 SAP HANA 连接SAP HANA时，具体参数请参见SAP HANA连接参数说明。

查看更多 →