MapReduce日志介绍 日志描述 日志默认存储路径： JobhistoryServer：“/var/log/Bigdata/mapreduce/jobhistory”（运行日志），“/var/log/Bigdata/audit/mapreduce/jobhistory”（审计日志）

查看更多 →

设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数

查看更多 →

开发MapReduce应用 MapReduce统计样例程序 MapReduce访问多组件样例程序 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce接口介绍 MapReduce Java API接口介绍 MapReduce REST API接口介绍 父主题： MapReduce应用开发常见问题

查看更多 →

包，再修改函数执行入口为“com.huawei.demo.PersonTest.personTest”并保存。 图12 上传JAR包 打开配置测试事件对话框，选择空白模板，输入测试事件内容。 单击“创建”后执行测试。 执行结果 执行结果由3部分组成：函数返回、执行摘要和日志。 表23

查看更多 →

系统当前指标取值满足自定义的告警设置条件。 对系统的影响 提交的MapReduce任务执行超时，所以无执行结果返回。故障修复后重新执行该任务。 可能原因 执行MapReduce任务需要较长时间。但指定的时间少于所需的执行时间。 处理步骤 检查时间是否正确设置。 把“-Dapplication

查看更多 →

例工程，并导入到用户的开发环境中。 前提条件 JDK(1.8版本或以上版本)工具已安装成功。 Eclipse工具已安装成功。 操作步骤 Eclipse中配置JDK。 打开Eclipse工具，选择“Window > Preferences”，弹出“Preferences”窗口。 在

查看更多 →

8及以上版本，并且安装Eclipse，Eclipse使用JDK1.7及以上的版本。 如果使用IBM JDK，请确保Eclipse中的JDK配置为IBM JDK。 如果使用Oracle JDK，请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的w

查看更多 →

以下操作步骤以导入HDFS样例代码为例。 操作步骤 参考获取 MRS 应用开发样例工程，下载样例工程到本地。 导入样例工程到Eclipse开发环境。 第一种方法：打开Eclipse，选择“File > New > Java Project”。 去掉对“Use default location”的勾选，单击“Browse”。

查看更多 →

0版本。 安装和配置Eclipse 用于开发Impalad应用程序的工具。版本要求如下： JDK使用1.7版本，Eclipse使用3.7.1及以上版本。 JDK使用1.8版本，Eclipse使用4.3.2及以上版本。 说明： 若使用IBM JDK，请确保Eclipse中的JDK配置为IBM

查看更多 →

MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个 服务器 组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat

查看更多 →

调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题： MapReduce开发指南（普通模式）

查看更多 →

MapReduce常见问题 ResourceManager进行主备切换后，任务中断后运行时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级

查看更多 →

配置MapReduce Job基线 操作场景 确定Job基线是调优的基础，一切调优项效果的检查，都是通过和基线数据做对比来获得。 Job基线的确定有如下三个原则： 充分利用集群资源 Reduce阶段尽量放在一轮 每个Task的执行时间要合理 操作步骤 原则一：充分利用集群资源。

查看更多 →

“作业类型”选择“MapReduce”，并配置其他作业信息。 图1 添加MapReduce作业 表1 作业配置信息 参数 描述 示例 作业名称 作业名称，只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 mapreduce_job 执行程序路径 待执行程序包地址，可直

查看更多 →

MapReduce引擎无法查询Tez引擎执行union语句写入的数据 问题 Hive通过Tez引擎执行union相关语句写入的数据，切换到Mapreduce引擎后进行查询，发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时，生成的输出文件会存在HIVE_UNION_SUBDIR目录。

查看更多 →

执行执行计划 功能介绍 执行执行计划（ApplyExecutionPlan） 此API用于执行一个执行计划 当执行请求接受后，执行计划状态将变为APPLY_IN_PROGRESS，后台会进行异步处理。 当执行结束后，执行计划状态将变为APPLIED。 用户可以调用GetStack

查看更多 →

通用构建问题 执行构建任务时，能否指定在某一台/一种配置的服务器上运行？ 如何使用构建并发包 执行构建时找不到必须的项目文件 上传软件包时找不到文件 执行编译构建任务时提示：权限不足，无法获取信息 通过流水线调用构建任务时，提示任务不存在 构建任务执行时被中止 Eclipse普通Java项目上云

查看更多 →

参考获取MRS应用开发样例工程，下载样例工程到本地。 解压样例工程并找到kafka-examples目录。 导入样例工程到Eclipse开发环境。 打开Eclipse，选择“File > Import”。显示“Import”窗口，选择Existing Maven Projects，单击“next”按钮。

查看更多 →

JDK。 若使用IBM JDK，请确保Eclipse或者IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保Eclipse或者IntelliJ IDEA中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。

查看更多 →

Windows系统，推荐Windows 7及以上版本。 JDK Java开发环境的基本配置。版本要求：强烈推荐使用1.8版本。 Eclipse 在Eclipse官网下载对应平台的Eclipse版本，比如：eclipse-jee-mars-R-win32-x86_64.zip。 Idea 在Idea官网下载对应平台

查看更多 →