并行文件系统 并行文件系统（Parallel File System）是 对象存储服务 （Object Storage Service，OBS）提供的一种经过优化的高性能文件语义系统，提供毫秒级别访问时延，TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载，主要应用于大数据场景。

查看更多 →

都带来较大难度。 无论数据是在用户本地自建的IDC中（Internet Data Center，互联网数据中心）、云服务中、第三方云中，或者使用E CS 自建的数据库或文件系统中， CDM 均可帮助用户轻松应对各种数据迁移场景，包括数据上云，云上数据交换，以及云上数据回流本地业务系统。 父主题：

查看更多 →

文件。文件中保存的是待并行导入数据库的数据。 OBS：对象存储服务，是一种可存储文档、图片、影音视频等非结构化数据的云存储服务。向 GaussDB (DWS)并行导入数据时，数据对象放置在OBS 服务器 上。 桶（Bucket）：对OBS中的一个存储空间的形象称呼，是存储对象的容器。 对

查看更多 →

关于GDS并行导入 INSERT和COPY方式执行数据导入时，是一个串行执行的过程，导入性能低，因此适用于小数据量的导入。对于大数据量的导入，GaussDB(DWS)支持使用GDS工具通过外表并行导入数据到集群。 当前版本的GDS已经支持从管道文件导入数据库，该功能使GDS的导入更加灵活多变。

查看更多 →

文件。 OBS：对象存储服务，是一种可存储文档、图片、影音视频等非结构化数据的云存储服务。从GaussDB(DWS)并行导出数据时，数据对象放置在OBS服务器上。 桶（Bucket）：对OBS中的一个存储空间的形象称呼，是存储对象的容器。 对象存储是一种非常扁平化的存储方式，桶中

查看更多 →

D文件。文件中保存的是从GaussDB(DWS)数据库导出的数据。 外表：用于规划导出数据文件的数据文件格式、存放位置、编码格式等信息。 GDS：数据服务工具。在导出数据时，需要将此工具部署到数据文件所在的服务器上，使DN可以通过该工具导出数据。 表：数据库中的表，包括行存表和列存表。数据文件中的数据从这些表中导出。

查看更多 →

验证并行查询效果 本章节使用TPCH测试工具测试并行查询对22条QUERY的性能提升情况。 测试的实例信息如下： 实例规格：32 vCPUs | 256 GB 内核版本：2.0.26.1 并行线程数：16 测试数据量：100GB 操作步骤 生成测试数据。 请在https://github

查看更多 →

各个算子的并行情况。 非适用场景： 生成计划时间占比很高的短查询场景。 不支持CN上的算子并行。 不支持不能下推的查询并行执行。 不支持子查询subplan的并行，以及包含子查询的算子并行。 资源对SMP性能的影响 SMP架构是一种利用富余资源来换取时间的方案，计划并行之后必定会

查看更多 →

如何并行创建索引？ 答：参考如下方法： --设置maintenance_work_mem参数根据实际情况调整该大小。 gaussdb=# SET maintenance_work_mem = '8GB'; --建表。 gaussdb=# CREATE TABLE table_name

查看更多 →

如何并行创建索引？ 答：参考如下方法： --设置maintenance_work_mem参数根据实际情况调整该大小。 gaussdb=# SET maintenance_work_mem = '8GB'; --建表。 gaussdb=# CREATE TABLE table_name

查看更多 →

个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。

查看更多 →

Hive表对接OBS文件系统 应用场景 MRS 支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离场景。 用户通过IAM服务的“委托”机制进行简单配置，即可实现OBS的访问。 方案架构 Hive是建立在Hadoop上的 数据仓库 框架，提供大数据平台批处理计算能力，能够对结构

查看更多 →

%，单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题，华为云提供了基于对象存储服务OBS作为统一 数据湖 存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力，以及多协议共享访问技术（HDFS/POSIX/OBS

查看更多 →

什么是Flexus云数据库RDS 华为云Flexus云服务是新一代开箱即用、体验跃级、面向中小企业和开发者打造的高性价比云服务产品。Flexus云数据库RDS是华为云Flexus云服务的一个产品。FlexusRDS支持以下引擎： MySQL PostgreSQL 如何使用Flexus云数据库RDS

查看更多 →

shard（分片）是对cluster的横向切分，1个cluster可以由多个shard组成。 replicas replica（副本），1个shard可以有多个replica组成。 partition partition（分区），针对的是本地replica而言的，可以理解为是一种纵向切分。

查看更多 →

图2 华为云数据使能方案总体演进 华为云数据使能方案为客户提供全栈大数据管理方案，覆盖“采存算管用”的全数据生命周期处理环节，支持公有云、混合云、边缘云等多种基础设施形态，支持向未来平滑演进。 数据仓库服务DWS GaussDB(DWS)是企业级的大规模并行处理关系型数据库。其采用MPP（Massive

查看更多 →

应用程序因并行配置不正确无法启动 问题描述 Windows 2008 Python2版本的Agent安装后，无法启动，提示“sms.5109应用程序因并行配置不正确无法启动”。 图1 启动报错 解决方案 参考首次启动Agent时无法启动该如何处理？ 父主题： Agent安装与启动

查看更多 →

shard（分片）是对cluster的横向切分，1个cluster可以由多个shard组成。 replicas replica（副本），1个shard可以有多个replica组成。 partition partition（分区），针对的是本地replica而言的，可以理解为是一种纵向切分。

查看更多 →

什么是云地图服务 云地图服务（ KooMap ）是提供空间处理、计算、可视、虚实交互等一站式开箱即用的云服务，赋能客户虚实融合互动的应用创新。 当前KooMap推出了AR地图运行服务和AR地图生产服务。 AR地图运行服务：基于高精度AR地图，提供厘米级高精度的视觉定位和AR导航，

查看更多 →

Flink性能优化 概述 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi

查看更多 →

华为云并行文件系统迁移教程 并行文件系统（Parallel File System）是对象存储提供的一种经过优化的高性能文件语义系统，提供毫秒级别访问时延，TB/s级别带宽和百万级别的IOPS。 作为对象存储的子产品，并行文件系统的迁移方法与 对象存储迁移 方法一致。 创建迁移任务可参见创建迁移任务。

查看更多 →