Orc Format 功能描述 Apache Orc Format允许读写ORC数据。更多具体使用可参考开源社区文档：Orc Format。 支持的Connector FileSystem 参数说明 表1 参数说明 参数 是否必选 默认值 类型 描述 format 是 无 String

查看更多 →

导出ORC数据到 MRS 导出ORC数据概述 规划导出数据 创建外部 服务器 创建外表 执行导出 父主题： 导出数据

查看更多 →

server并发导出，导出的路径可以为空，命名规则需与导出文件一致。 选择MRS服务与集群节点处于联网状态，导出速率会受网络带宽影响。 支持数据文件格式：ORC。 导出文件命名规则 GaussDB (DWS)导出ORC数据的文件命名规则如下： 导出至MRS（HDFS）：从DN节点导出数据时，以segmen

查看更多 →

ZSTD压缩的存储格式有常见的ORC、RCFile、TextFile、JsonFile、Parquet、Squence和 CS V。 可在Hive客户端创建ZSTD压缩格式的表，命令如下： ORC存储格式建表时可指定TBLPROPERTIES("orc.compress"="zstd")：

查看更多 →

的存储格式有常见的ORC，RCFile，TextFile，JsonFile，Parquet，Squence，CSV。 本特性仅适用于MRS 3.1.2及之后版本。 ZSTD压缩格式的建表方式如下： ORC存储格式建表时可指定TBLPROPERTIES("orc.compress"="zstd")：

查看更多 →

导出ORC数据到OBS 规划导出数据 创建外部服务器 创建外表 执行导出 父主题： 导出数据到OBS

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

有关导入数据到MRS集群的操作，请参见《MapReduce服务用户指南》中的管理数据文件章节。 在数据库demo中创建了一个Hive ORC表product_info_orc。 执行以下命令，创建Hive ORC表product_info_orc，表字段与上一步创建的表product_info完全一致：

查看更多 →

info_orc路径下查看导出的ORC格式文件。 GaussDB(DWS)导出ORC数据的文件格式规则如下： 导出至MRS（HDFS）：从DN节点导出数据时，以segment的格式存储在HDFS中，文件命名规则为“mpp_数据库名_模式名_表名称_节点名称_n.orc”。 对于来

查看更多 →

Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。 操作步骤 推荐：使用“SNAPPY”压缩，适用于压缩比和读取效率要求均衡场景。

查看更多 →

规划导出数据 MRS导出支持的数据类型请参见表2。 HDFS导出数据准备：HDFS导出准备即配置MRS，具体信息可参考《MapReduce服务用户指南》。 父主题： 导出ORC数据到MRS

查看更多 →

备。 OBS导出支持的数据类型请参见表2。 HDFS导出数据准备：HDFS导出准备即配置MRS，具体信息可参考《MapReduce服务用户指南》。 父主题： 导出ORC数据到OBS

查看更多 →

的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。 该特性可以通过下面的配置项开启：

查看更多 →

的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。 该特性可以通过下面的配置项开启：

查看更多 →

从OBS导入ORC、CARBONDATA数据 OBS上的数据准备 创建外部服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题： 从OBS并行导入数据

查看更多 →

MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

SparkSQL读取ORC表报错 问题现象 Hive创建ORC存储格式的表，用SparkSQL读取该表时报错： 原因分析 该问题为一个开源社区问题：https://issues.apache.org/jira/browse/HIVE-11102，使用开源的hive 1.2.1版本包就有可能触发此问题。

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →