通过这个接口，可以查询当前集群中已完成的MapReduce任务，并且可以得到表1 表1 常用信息 参数 参数描述 submitTime 任务提交时间 startTime 任务开始执行时间 finishTime 任务执行完成时间 queue 任务队列 user 提交这个任务的用户 state 任务执行成功或失败

查看更多 →

通过这个接口，可以查询当前集群中已完成的MapReduce任务，并且可以得到表1 表1 常用信息 参数 参数描述 submitTime 任务提交时间 startTime 任务开始执行时间 finishTime 任务执行完成时间 queue 任务队列 user 提交这个任务的用户 state 任务执行成功或失败

查看更多 →

MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 父主题： MapReduce开发指南

查看更多 →

通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：

查看更多 →

通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：

查看更多 →

息。 当yarn.acl.enable或mapreduce.cluster.acls.enabled设置为false时，即关闭Yarn或Mapreduce的权限校验功能。此时任何用户都可以在Yarn或MapReduce上提交任务和查看任务信息，存在安全风险，请谨慎使用。 父主题：

查看更多 →

MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题： MapReduce开发指南（安全模式）

查看更多 →

MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 MapReduce二次开发远程调试 父主题： MapReduce开发指南（普通模式）

查看更多 →

Loader通过MapReduce作业实现并行的导入或者导出作业任务，不同类型的导入导出作业可能只包含Map阶段或者同时Map和Reduce阶段。 Loader同时利用MapReduce实现容错，在作业任务执行失败时，可以重新调度。 数据导入到HBase 在MapReduce作业的Map阶段中从外部数据源抽取数据。

查看更多 →

用户可以在YARN中配置任务的优先级。任务优先级是通过ResourceManager的调度器实现的。 操作步骤 设置参数“mapreduce.job.priority”，使用命令行接口或API接口设置任务优先级。 命令行接口。 提交任务时，添加“-Dmapreduce.job.priority=<priority>”参数。

查看更多 →

使用JDBC提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：

查看更多 →

当前版本的Spark内核直接依赖于kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作： 将Spark客户端目录下spark-default

查看更多 →

当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作： 将Spark客户端目录下spark-default

查看更多 →

MapReduce大任务的AM调优 操作场景 任务场景：运行的一个大任务（map总数达到了10万的规模），但是一直没有跑成功。经过查询，发现是ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，

查看更多 →

MapReduce大任务的AM调优 操作场景 任务场景：运行的一个大任务（map总数达到了10万的规模），但是一直没有跑成功。经过查询，发现是ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，

查看更多 →

用户可以在YARN中配置任务的优先级。任务优先级是通过ResourceManager的调度器实现的。 操作步骤 设置参数“mapreduce.job.priority”，使用命令行接口或API接口设置任务优先级。 命令行接口。 提交任务时，添加“-Dmapreduce.job.priority=<priority>”参数。

查看更多 →

Hive是一个开源的，建立在Hadoop上的 数据仓库 框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 通过HQL语言非常容易的完成数据提取、转换和加载（ETL）。

查看更多 →

息。 当yarn.acl.enable或mapreduce.cluster.acls.enabled设置为false时，即关闭Yarn或Mapreduce的权限校验功能。此时任何用户都可以在Yarn或MapReduce上提交任务和查看任务信息，存在安全风险，请谨慎使用。 父主题：

查看更多 →

组件技术栈类型选择Java。 源码/软件包 选择“源码仓库”，选择“GitHub”。 “授权信息”选择设置GitHub仓库授权时创建的授权信息。 “用户名/组织”选择Fork天气预报源码时登录您的GitHub使用的用户名。 “仓库名称”选择已Fork到您的GitHub下的天气预报源码仓库的名称，例如：weathermap。

查看更多 →

溯源码列表 功能介绍 溯源码列表 URI POST /v1/{project_id}/trace/trace-sweepcode/label/list 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户从IAM申请到的projectid，一般为32位字符串

查看更多 →