批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 Impala主要特点如下： 支持Hive查询语言（HQL）中

查看更多 →

使用 MRS Hive表对接OBS文件系统 应用场景 MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离场景。 用户通过IAM服务的“委托”机制进行简单配置，即可实现OBS的访问。 方案架构 Hive是建立在Hadoop上的 数据仓库 框架，提供大数据平台

查看更多 →

客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs-servers=NAMESERVICE -fs obs://OBS并行文件系统名称 1 1 其中“NAMESE

查看更多 →

优化了读取块数据的并行性。 为了优化并行数据处理及并行读取块数据，CarbonData根据块的局域性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation

查看更多 →

优化了读取块数据的并行性。 为了优化并行数据处理及并行读取块数据，CarbonData根据块的局域性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation

查看更多 →

数据并行导入导出 GaussDB 提供了并行导入导出功能，以快速、高效地完成大量数据导入导出。介绍GaussDB并行导入导出的相关参数。 raise_errors_if_no_files 参数说明：设置导入时是否区分“导入文件记录数为空”和“导入文件不存在”。该参数开启时，“导入文

查看更多 →

储和访问需求。 大数据计算： 大数据计算是对海量数据进行分布式、并行和实时处理的关键环节。主要的计算框架包括Hadoop、Spark、Flink等，它们支持分布式计算模型和任务调度。通过这些计算框架，可以进行数据处理、特征提取、机器学习、数据挖掘等复杂的计算和分析任务。 数据查询和分析：

查看更多 →

验证并行查询效果 本章节使用TPCH测试工具测试并行查询对22条QUERY的性能提升情况。 测试的实例信息如下： 实例规格：32 vCPUs | 256 GB 内核版本：2.0.26.1 并行线程数：16 测试数据量：100GB 操作步骤 生成测试数据。 请在https://github

查看更多 →

各个算子的并行情况。 非适用场景： 生成计划时间占比很高的短查询场景。 不支持CN上的算子并行。 不支持不能下推的查询并行执行。 不支持子查询subplan的并行，以及包含子查询的算子并行。 资源对SMP性能的影响 SMP架构是一种利用富余资源来换取时间的方案，计划并行之后必定会

查看更多 →

ISDP产品功能整体框架 功能模块 角色说明

查看更多 →

Standard支持的AI框架 ModelArts Standard的开发环境Notebook、训练作业、模型推理（即模型管理和部署上线）支持的AI框架及其版本，请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像，包括MindSpore、P

查看更多 →

MRS支持Tez组件 Tez是Apache最新的支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。如果 Hive和Pig这样的项目使用Tez而不是MapReduce作为其数据处理的骨干，那么将会显著提升它们的响应时间，Tez构建在YARN之上，能够不需要做任何改动地运行MR任务。

查看更多 →

数据处理支持什么类型脚本？ 目前数据处理仅支持Python脚本。数据处理集成了华为公有云ModelArts服务的引擎，用来执行用户自编码的Python脚本。 父主题： 数据处理

查看更多 →

数据处理场景介绍 数据处理功能仅在以下Region支持：华北-北京四、华北-北京一、华东-上海一、华南-广州。 ModelArts平台提供的数据处理功能，基本目的是从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后，

查看更多 →

创建数据处理任务版本 功能介绍 创建数据处理任务版本。 调试 您可以在 API Explorer 中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/processor

查看更多 →

验证并行查询效果 本章节使用TPCH测试工具测试并行查询对22条QUERY的性能提升情况。 测试的实例信息如下： 实例规格：32 vCPUs | 256 GB 内核版本：2.0.26.1 并行线程数：16 测试数据量：100GB 操作步骤 生成测试数据。 请在https://github

查看更多 →

个节点。增加任务的并行度，充分利用集群机器的计算能力，一般并行度设置为集群CPU总和的2-3倍。 操作步骤 并行度可以通过如下三种方式来设置，用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数，优先级最高。

查看更多 →

DB(DWS)并行导入海量数据，使用普通方式会耗费大量的时间。GaussDB(DWS)提供了OBS（Object Storage Service）及外表接口，通过OBS外表设置的导入URL路径、导入数据格式等信息来识别数据源文件，利用多DN（Datanode）并行的方式，实现了数据的快速并行导入。

查看更多 →

（导入）。 概述 并行导入将存储在 服务器 普通文件系统中的数据导入到GaussDB(DWS)数据库中。暂时不支持将存储在HDFS文件系统上的数据导入GaussDB(DWS)。 并行导入功能通过外表设置的导入策略、导入数据格式等信息来识别数据源文件，利用多DN并行的方式，将数据从数据

查看更多 →

关于OBS并行导出 概述 GaussDB(DWS)数据库支持通过OBS外表并行导出数据：通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件，利用多DN并行的方式，将数据从GaussDB(DWS)数据库导出到外部，存放在OBS 对象存储服务 器上，从而提高整体导出性能。

查看更多 →

关于GDS并行导出 使用GDS工具将数据从数据库导出到普通文件系统中，适用于高并发、大量数据导出的场景。 当前版本的GDS支持从数据库导出到管道文件，该功能使GDS的导出更加灵活多变。 当GDS用户的本地磁盘空间不足时： 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通

查看更多 →