配置MapReduce任务推测执行 操作场景 当集群规模很大时（如几百上千台节点的集群），个别节点出现软硬件故障的概率会增大，并且会因此延长整个任务的执行时间（运行完成的任务会等待异常设备运行完成）。推测执行通过将一个task分给多台机器运行，取首先运行完成的节点。对于小集群，可以将该功能关闭。

查看更多 →

Format类，用来读取数据，切分数据块。 setJarByClass(Class< > cls) 核心接口，指定执行类所在的jar包本地位置。java通过class文件找到执行jar包，该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包

查看更多 →

提交任务类请求结果 响应（任务类） 返回值 父主题： 公共参数

查看更多 →

配置MapReduce任务日志归档和清理机制 配置场景 执行一个MapReduce应用会产生两种类型日志文件：作业日志和任务日志。 作业日志由MRApplicationMaster产生，详细记录了作业启动时间、运行时间，每个任务启动时间、运行时间、Counter值等信息。此日志内

查看更多 →

Format类，用来读取数据，切分数据块。 setJarByClass(Class< > cls) 核心接口，指定执行类所在的jar包本地位置。java通过class文件找到执行jar包，该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包

查看更多 →

impl配置项不是hadoop的默认值，需要使用Spark的jar包，因此MapReduce会报类找不到。 处理步骤 方案一： 如果文件较小，则可以将默认长度设置得大于文件最大长度，例如最大的文件是95 MB，则设置： hive.exec.copyfile.maxsize=104857600

查看更多 →

Format类，用来读取数据，切分数据块。 setJarByClass(Class< > cls) 核心接口，指定执行类所在的jar包本地位置。java通过class文件找到执行jar包，该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包

查看更多 →

Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于 MRS 的HCatalog功能，Hive

查看更多 →

通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：

查看更多 →

通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：

查看更多 →

存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。 HCatalog HCata

查看更多 →

API访问Hive的样例代码。 HiveQL语言 Hive Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于

查看更多 →

Format类，用来读取数据，切分数据块。 setJarByClass(Class< > cls) 核心接口，指定执行类所在的jar包本地位置。java通过class文件找到执行jar包，该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包

查看更多 →

Format类，用来读取数据，切分数据块。 setJarByClass(Class< > cls) 核心接口，指定执行类所在的jar包本地位置。java通过class文件找到执行jar包，该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包

查看更多 →

MapReduce大任务的AM调优 操作场景 当运行一个大任务（map总数达到了10万的规模），但是一直没有运行成功。经过查询发现是ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要

查看更多 →

MapReduce大任务的AM调优 操作场景 当运行一个大任务（map总数达到了10万的规模），但是一直没有运行成功。经过查询发现是ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要

查看更多 →

失败的任务。 父主题： 其他类

查看更多 →

查询正在处理的任务信息 功能介绍 查询正在处理的任务信息。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/running-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID 表2 Query参数

查看更多 →

“数据处理”是指从大量的、杂乱无章的、难以理解的数据中抽取或者生成对某些特定的人们来说是有价值、有意义的数据。“数据处理”又分为“数据校验”、“数据清洗”、“数据选择”和“数据增强”四类。 “数据校验”表示对数据集进行校验，保证数据合法。 “数据清洗”表示对数据进行去噪、纠错或补全的过程。 “

查看更多 →

String 数据处理任务ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 create_version 否 Boolean 创建任务时是否同步创建一个任务版本。可选值如下： true：创建任务时同步创建一个任务版本 false：创建任务时不创建任务版本（默认值）

查看更多 →

doop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。Hive的数据计算依赖于MapReduce、Spark、Tez。 使用新的执行引擎Tez代替原先的MapReduce，性能有了显著提升。Tez可以将多个有依赖的作业转换

查看更多 →