class Reducer类名 mapred.input.dir MapReduce处理数据的输入目录 mapred.output.dir MapReduce处理后结果数据输出目录 mapred.map.tasks MapReduce map任务个数 “${变量名}”表示：该值来自“job

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

发起内存合并的使用率阈值，表示为分配给映射输出信息的内存的比例（是由mapreduce.reduce.shuffle.input.buffer.percent设置的）。 0.66 mapreduce.reduce.shuffle.input.buffer.percent shuffle过程中分配给映射输出信息的内存占最大堆大小的比例。

查看更多 →

发起内存合并的使用率阈值，表示为分配给映射输出信息的内存的比例（是由mapreduce.reduce.shuffle.input.buffer.percent设置的）。 0.66 mapreduce.reduce.shuffle.input.buffer.percent shuffle过程中分配给映射输出信息的内存占最大堆大小的比例。

查看更多 →

MapReduce任务commit阶段优化 操作场景 默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段，会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现。

查看更多 →

实时分析输出 算子简介 将经过数据管道清洗后的数据输出到实时分析，作为实时分析的数据来源。 算子配置 算子配置项如图所示： 算子名称：用户指定这个算子的名称。 管道输出数据名称：用户声明这个输出的名称，以便在实时分析作业的“管道数据输入”算子中使用。 属性：用户选择需要将哪些属性输出给实时分析进行后续的分析任务。

查看更多 →

获取任务输出日志 功能介绍 获取任务输出的日志。 URI URI格式 GET /softcomai/datalake/dataplan/v1.0/tasks/output/{taskId} 参数说明 参数名 是否必选 参数类型 备注 taskId 是 String 任务ID。 请求

查看更多 →

模型输出目录规范 模型导入（转换）任务执行完成后，华为HiLens将转换后的模型输出至指定的OBS路径。针对不同的转换任务，基于Ascend芯片，其模型输出目录需要满足一定的规范要求。华为HiLens当前对模型输出目录的要求如下： 针对基于Caffe框架的模型，执行模型导入（转换）时，其输出目录说明如下所示。

查看更多 →

MRS HBase输出流 功能描述 DLI 将Flink作业的输出数据输出到MRS的HBase中。 前提条件 确保您的账户下已在MapReduce服务（MRS）里创建了您配置的集群。DLI支持与开启kerberos的hbase集群对接。 该场景作业需要运行在DLI的独享队列上，请确保已创建DLI独享队列。

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

CloudTable HBase输出流 功能描述 DLI将作业的输出数据输出到CloudTable的HBase中。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系

查看更多 →

MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1

查看更多 →

O日志输出到控制台，影响HBase shell窗口的显示。 HBase客户端命令繁多，例如：hbase shell、hbase hbck、hbase org.apache.hadoop.hbase.mapreduce.RowCounter等，且后续还会增加。部分命令的输出为INF

查看更多 →

class); // 设置作业的输出类型，也可以通过配置文件指定。 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); // 设置该job的输入输出路径，也可以通过配置文件指定。

查看更多 →

MapReduce任务commit阶段优化 操作场景 默认情况下，如果一个MR任务会产生大量的输出结果文件，那么该job在最后的commit阶段，会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中，大Job的commit过程会严重影响任务的性能表现。

查看更多 →

HCatRecord record = new DefaultHCatRecord(2); record.set(0, key.get()); record.set(1, sum); context.write(null, record);

查看更多 →

HCatRecord record = new DefaultHCatRecord(2); record.set(0, key.get()); record.set(1, sum); context.write(null, record);

查看更多 →

HCatRecord record = new DefaultHCatRecord(2); record.set(0, key.get()); record.set(1, sum); context.write(null, record);

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

对于USTORE存储方式的表，如果表中包含SET类型的字段，且已经开启回收站功能，表被删除时，不会进入到回收站中，会直接删除。 ALTER TABLE不支持将SET类型字段的数据类型修改为其他SET类型。 表或者SET类型关联的表字段被删除时，或者表字段的SET类型修改为其他类型时，SET数据类型也会被同步删除。

查看更多 →

对于USTORE存储方式的表，如果表中包含SET类型的字段，且已经开启回收站功能，表被删除时，不会进入到回收站中，会直接删除。 ALTER TABLE 不支持将SET类型字段的数据类型修改为其他SET类型。 表或者SET类型关联的表字段被删除时，或者表字段的SET类型修改为其他类型时，SET数据类型也会被同步删除。

查看更多 →