.jpg)
.jpg)
.jpg)
.jpg)
-
ALM-18020 Yarn任务执行超时
![]()
ALM-18020 Yarn任务执行超时 告警解释 系统每15分钟周期性检测提交到Yarn上的Mapreduce和Spark应用任务（JDBC常驻任务除外），当检测到任务执行时间超过用户指定的超时时间时，产生该告警，但任务仍继续正常执行。其中，Mapreduce的客户端超时参数为“mapreduce
来自：帮助中心 -
配置MapReduce应用安全认证
![]()
入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。
来自：帮助中心 -
YARN REST API接口介绍
![]()
通过这个接口，可以查询当前集群中Yarn上的任务，并且可以得到如下表1。 表1 常用信息 参数 参数描述 user 运行这个任务的用户。 applicationType 例如MAPREDUCE或者SPARK等。 finalStatus 可以知道任务是成功还是失败。 elapsedTime 任务运行的时间。
来自：帮助中心 -
配置MapReduce Job基线
![]()
。 - mapreduce.input.fileinputformat.split.minsize 可以设置数据分片的数据最小值。 0 原则二：控制reduce阶段在一轮中完成。 避免以下两种场景： 大部分的reduce在第一轮运行完后，剩下唯一一个reduce继续运行。这种情况
来自：帮助中心 -
配置MapReduce Job基线
![]()
。 - mapreduce.input.fileinputformat.split.minsize 可以设置数据分片的数据最小值。 0 原则二：控制reduce阶段在一轮中完成。 避免以下两种场景： 大部分的reduce在第一轮运行完后，剩下唯一一个reduce继续运行。这种情况
来自：帮助中心 -
准备连接MapReduce集群配置文件
-
YARN REST API接口介绍
![]()
通过这个接口，可以查询当前集群中Yarn上的任务，并且可以得到如下表1。 表1 常用信息 参数 参数描述 user 运行这个任务的用户。 applicationType 例如MAPREDUCE或者SPARK等。 finalStatus 可以知道任务是成功还是失败。 elapsedTime 任务运行的时间。
来自：帮助中心 -
配置MapReduce任务推测执行
![]()
参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 参数 描述 默认值 mapreduce.map.speculative 设置是否并行执行某些映射任务的多个实例。true表示开启。 false mapreduce.reduce
来自：帮助中心 -
配置MapReduce任务推测执行
![]()
参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 参数 描述 默认值 mapreduce.map.speculative 设置是否并行执行某些映射任务的多个实例。true表示开启。 false mapreduce.reduce
来自：帮助中心 -
配置MapReduce应用安全认证
![]()
入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。
来自：帮助中心 -
Yarn汇聚日志过大导致节点磁盘被占满
![]()
Yarn汇聚日志过大导致节点磁盘被占满 用户问题 集群的磁盘使用率很高。 问题现象 Manager管理页面下主机管理显示磁盘使用率过高。 Yarn WebUI界面上显示只有少量任务在运行。 登录到集群的Master节点执行hdfs dfs -du -h / 命令发现如下文件占用大量磁盘空间。
来自：帮助中心 -
配置MapReduce应用安全认证
![]()
用程序中需要写入安全认证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式。 命令行认证 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证 通过获取客户端的principal和keytab文件在应用程序中进行认证。
来自：帮助中心 -
Yarn组件对接OBS
![]()
obs://OBS并行文件系统名称/hadoop1 执行以下Yarn任务访问OBS： yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar pi -Dmapreduce.job.hdfs-servers=NAMESERVICE
来自：帮助中心 -
YARN REST API接口介绍
![]()
通过这个接口，可以查询当前集群中Yarn上的任务，并且可以得到如下表1。 表1 常用信息 参数 参数描述 user 运行这个任务的用户。 applicationType 例如MAPREDUCE或者SPARK等。 finalStatus 可以知道任务是成功还是失败。 elapsedTime 任务运行的时间。
来自：帮助中心 -
MapReduce Shuffle调优
![]()
判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC time elapsed (ms)/CPU time
来自：帮助中心 -
MapReduce Shuffle调优
![]()
判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC time elapsed (ms)/CPU time
来自：帮助中心 -
YARN REST API接口介绍
![]()
通过这个接口，可以查询当前集群中Yarn上的任务，并且可以得到如下表1。 表1 常用信息 参数 参数描述 user 运行这个任务的用户。 applicationType 例如MAPREDUCE或者SPARK等。 finalStatus 可以知道任务是成功还是失败。 elapsedTime 任务运行的时间。
来自：帮助中心 -
ALM-23001 Loader服务不可用（2.x及以前版本）
![]()
是，处理完毕。 否，执行4.a。 检查MapReduce服务状态。 登录MRS集群详情页面，选择“组件管理”。 选择“Mapreduce”查看Mapreduce的健康状态是否正常。 是，执行5.a。 否，执行4.c。 单击“更多 > 重启服务”重新启动Mapreduce服务。重启完成后在告警列表中，查看“ALM-23001
来自：帮助中心 -
ALM-18006 执行MapReduce任务超时（2.x及以前版本）
![]()
ALM-18006 执行MapReduce任务超时（2.x及以前版本） 告警解释 告警模块每30秒周期性检测MapReduce任务。任务提交后，当检测到MapReduce任务执行时间超过指定时间时，产生该告警。 该告警需要手动清除。 告警属性 告警ID 告警级别 可自动清除 18006
来自：帮助中心 -
HDFS文件系统目录简介
![]()
/tmp/hadoop-yarn/staging 固定目录 保存AM运行作业运行日志、作业概要信息和作业配置属性 否 任务运行异常 /tmp/hadoop-yarn/staging/history/done_intermediate 固定目录 所有任务运行完成后，临时存放/tmp
来自：帮助中心 -
YARN基本原理
![]()
YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建
来自：帮助中心
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
