MapReduce MapReduce基本原理 MapReduce与其他组件的关系 MapReduce开源增强特性 父主题： 组件介绍

查看更多 →

class”项。该方法用来分配map的输出结果到哪个reduce类，默认使用HashPartitioner，均匀分配map的每条键值对记录。例如在hbase应用中，不同的键值对应的region不同，这就需要设定特殊的partitioner类分配map的输出结果。 setSortCompa

查看更多 →

class”项。该方法用来分配map的输出结果到哪个reduce类，默认使用HashPartitioner，均匀分配map的每条键值对记录。例如在hbase应用中，不同的键值对应的region不同，这就需要设定特殊的partitioner类分配map的输出结果。 setSortCompa

查看更多 →

Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

中间件类—KafkaConsumer KafkaConsumer简介 该系统关键字支持对Kafka的消费者进行测试。 参数 是否必选 参数类型 默认值 描述 Broker 是 String 127.0.0.1:9093 Kafka实例ip地址。 Topic 是 String - Kafka消息的主题。

查看更多 →

获取文件的分析结果 功能介绍 获取文件分析结果。 URI URI格式 POST /softcomai/datalake/dataplan/v1.0/debug/file/rows 参数说明 无。 请求 请求样例 POST https://ipaddr:port/softcomai

查看更多 →

是对一些中间结果集转储的表，一定要分析清楚，使用合适的表存储类型。 优化前 某局点测试过程遇到如下的执行计划，客户希望将性能提升至3s内返回结果。 优化后 经过分析发现计划走了行引擎。根本原因是：临时计划表input_acct_id_tbl和中间结果转储表row_unlogged_table使用了行存表。

查看更多 →

案例：调整中间表存储方式 现象描述 在 GaussDB 中行存表天然的使用行执行引擎，列存表天然的使用列执行引擎。如果一个SQL语句涉及的表既有行存表又有列存表，系统会自动选择行执行引擎。由于列执行引擎的性能(除indexscan相关的算子)比行执行引擎性能要好很多，因此一般建议使用

查看更多 →

必须 说明 队列名称 是 输入队列名称。 输出参数 用户可以在之后的执行动作中调用该输出参数，输出参数说明请参考表3。 表3 消费消息输出参数说明 参数 说明 消费的消息内容 将文本使用Base64算法进行加密后的结果。 发布消息 向指定队列中发布消息。 输入参数 用户配置发布消息执行动作，相关参数说明如表4所示。

查看更多 →

Kafka消息的主题。 Message 是 String - Kafka每一条发送的消息主体。 SASL Username 否 String - Kafka SASL 权限认证配置用户名。 SASL Password 否 String - Kafka SASL 权限认证配置密码。

查看更多 →

区块链 中间件接口 概述 链代码调用（公测） 链代码管理（公测） 分布式身份（公测） 可信数据交换（公测） 父主题： Hyperledger Fabric增强版管理

查看更多 →

MapReduce与其他组件的关系 MapReduce和HDFS的关系 HDFS是Hadoop分布式文件系统，具有高容错和高吞吐量的特性，可以部署在价格低廉的硬件上，存储应用程序的数据，适合有超大数据集的应用程序。 MapReduce是一种编程模型，用于大数据集（大于1TB）的并

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

result String 设置key对应的value值返回结果。若设置成功则返回OK。若设置失败则返回错误信息。 RedisSet响应示例 { "result" : "OK" } RedisSet使用示例 根据输入的key值，设置对应的value值，使用默认过期时间，永不过期。

查看更多 →

中间件类—OBSQuery OBS内容查询操作操作，根据指定的key获取对应的文件内容。 参数 是否必选 参数类型 描述 Access Key ID 是 String OBS 访问密钥AK（AK属于个人敏感信息，须在环境参数中定义为敏感参数）。 Secret Access ID 是

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

如何修改结果文件的权限？ 部署方式 OBS存储 使用“云租户部署”的“OBS存储”存储方式部署的 可信计算 节点生成的结果文件均存储在obs云服务中，可以通过obs服务下载，文件的权限策略根据用户在obs服务上的配置决定。 极速文件存储卷或边缘节点部署 而以“云租户部署”的“极速文件

查看更多 →

String 指定的key名称 RedisGet响应 状态：成功 参数 参数类型 描述 key String 指定key的value值 RedisGet响应示例 { "test" : "Redis" } RedisGet使用示例 根据输入的key值，获取对应的value值。 判断结果是否成功，结果是否是预期值：

查看更多 →

中间件类—OBSWrite OBS字符串操作，根据指定的key设置对应的value值。 参数 是否必选 参数类型 描述 Access Key ID 是 String OBS 访问密钥AK（AK属于个人敏感信息，须在环境参数中定义为敏感参数）。 Secret Access ID 是

查看更多 →