提交Spark任务到新增Task节点 应用场景 MRS 集群可以通过增加Task节点，提升计算能力，集群Task节点主要用于处理数据，不存放持久数据。 本章节指导用户通过租户资源绑定新增的Task节点，并提交Spark任务到新增的Task节点。 方案架构 租户是MRS大数据平台的核

查看更多 →

提交Spark任务时提示参数格式错误 问题现象 用户在使用Spark组件时，提交集群任务运行失败，提示参数格式错误。 原因分析 执行的命令包含了非法字符。 上传的jar包属主属组异常。 处理步骤 检查用户执行命令./bin/spark-submit --class cn.interf

查看更多 →

提交Hive任务时如何指定队列？ 问题现象 怎样在Hive提交任务的时候指定队列？ 处理步骤 在执行语句前通过如下参数设置任务队列，例如，提交任务至队列QueueA。 set mapred.job.queue.name=QueueA; select count(*) from rc;

查看更多 →

当前版本的Spark内核直接依赖于kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作： 将Spark客户端目录下spark-default

查看更多 →

通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：

查看更多 →

通过Slow Start调优MapReduce任务 操作场景 Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动，过早启动Reduce任务会导致资源占用，影响任务运行效率，但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率，提高任务运行效率。例如：

查看更多 →

提交 当您对代码进行一些更改时，您需要将它们提交到本地项目存储库，然后将它们推送到远程存储库，以便团队成员可以使用。 在提交之前，请确保您的Git配置中设置了用户名和/或电子邮件。否则，Git将使用本地计算机上的信息。您可以在Git提交信息中找到详细信息。 通过将更改添加到暂存区

查看更多 →

MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一定会在这个唯一运行的NodeManager节点上启动。 在客户端提交MapReduce任务，在Map/Reduce任务启动时会挂起并监测8000端口，等待远程调试。

查看更多 →

通过这个接口，可以查询当前集群中已完成的MapReduce任务，并且可以得到表1 表1 常用信息 参数 参数描述 submitTime 任务提交时间 startTime 任务开始执行时间 finishTime 任务执行完成时间 queue 任务队列 user 提交这个任务的用户 state 任务执行成功或失败

查看更多 →

使用JDBC提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：

查看更多 →

当前版本的Spark内核直接依赖于kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作： 将Spark客户端目录下spark-default

查看更多 →

当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作： 将Spark客户端目录下spark-default

查看更多 →

当前版本的Spark内核直接依赖于Kafka相关的jar包（结构流使用），因此提交结构流任务时，需要把Kafka相关jar包加入到结构流任务driver端的库目录下，确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作： 将Spark客户端目录下spark-default

查看更多 →

使用Oozie客户端提交Hive任务 操作场景 该任务指导用户在使用Oozie客户端提交Hive任务 Hive任务有如下类型： Hive作业 使用JDBC方式连接的Hive作业。 Hive2作业 使用Beeline方式连接的Hive作业。 本文以使用Oozie客户端提交Hive作业为例介绍。

查看更多 →

使用Oozie客户端提交Hive任务 操作场景 该任务指导用户在使用Oozie客户端提交Hive任务 Hive任务有如下类型： Hive作业 使用JDBC方式连接的Hive作业。 Hive2作业 使用Beeline方式连接的Hive作业。 本文以使用Oozie客户端提交Hive作业为例介绍。

查看更多 →

使用Oozie客户端提交其他任务 操作场景 除了Hive、Spark2x、Loader任务，也支持使用Oozie客户端提交MapReduce、Java、Shell、HDFS、SSH、SubWorkflow、Streaming、定时等任务。 请下载使用最新版本的客户端。 前提条件

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一定会在这个唯一运行的NodeManager节点上启动。 在客户端提交MapReduce任务，在Map/Reduce任务启动时会挂起并监测8000端口，等待远程调试。

查看更多 →

MapReduce为分布式计算框架，Map/Reduce任务启动所在的节点存在不确定性，建议将集群内NodeManager实例只保留一个运行，其他全部停止，以保证任务一定会在这个唯一运行的NodeManager节点上启动。 在客户端提交MapReduce任务，在Map/Reduce任务启动时会挂起并监测8000端口，等待远程调试。

查看更多 →

创建MRS集群 04:11 创建MRS集群 MapReduce服务 MRS 修改服务配置参数 04:01 MRS修改服务配置参数指导 MapReduce服务 MRS 配置MRS集群弹性伸缩 03:44 配置MRS集群弹性伸缩 MapReduce服务 MRS 安装及使用MRS客户端

查看更多 →

通过这个接口，可以查询当前集群中已完成的MapReduce任务，并且可以得到表1 表1 常用信息 参数 参数描述 submitTime 任务提交时间 startTime 任务开始执行时间 finishTime 任务执行完成时间 queue 任务队列 user 提交这个任务的用户 state 任务执行成功或失败

查看更多 →