10补丁之后Spring的包冲突导致部分Spark作业无法运行的问题 解决Spark的JobHistory进程z状态后，进程异常消失，不自愈，且无告警上报，存在可靠性风险的问题 解决Spark的JobHistory进程kill后，5min自愈，且无告警上报的问题 解决Spark2x切换补丁未替换Spark服务端Jar包的问题

查看更多 →

JobHistoryServer 是 Oozie oozie 否 Presto Coordinator 是 Worker Spark JobHistory 是 JD BCS erver SparkResource Storm Nimbus 是 UI Supervisor Logviewer

查看更多 →

yarn资源本地化过程中下载了archives类型资源后自动解压目录可能被注入。 YARN NodeManager上本地化资源文件及SPARK JobHistory历史文件未定时清理，导致磁盘爆满。 在Yarn的原生界面单击“Allocated Memory MB”排序时出现页面异常响应。 其他问题:

查看更多 →

待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web UI界面 通过YARN服务的WebUI进行查看 使用具有任务查看权限的用户登录 FusionInsight Manager，选择“集群

查看更多 →

Coordinator 是 Worker Ranger RangerAdmin 是 UserSync TagSync Spark JobHistory 是 JDB CS erver SparkResource Storm Nimbus 是 UI Supervisor Logviewer

查看更多 →

/mr-history/tmp 固定目录 MapReduce作业产生的日志存放位置 是 日志信息丢失 /mr-history/done 固定目录 MR JobHistory Server管理的日志的存放位置 是 日志信息丢失 /tenant 添加租户时创建 配置租户在HDFS中的存储目录，系统默认将自

查看更多 →

MapReduce常用端口 表中涉及端口的协议类型均为：TCP。 配置参数 开源默认端口 定制默认端口 端口说明 mapreduce.jobhistory.webapp.port 19888 26012 Job history 服务器 Web http端口。 该端口用于：查看Job History服务器的Web页面。

查看更多 →

依赖Hive 依赖ZooKeeper JS(JDBCServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 JH(JobHistory) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 SR(SparkResource) 只能部署在Master节点上。

查看更多 →

通过Web页面查看运行情况。 登录Manager主页面。在服务中选择Spark2x。 进入Spark2x概览页面，单击SparkWebUI任意一个实例，如JobHistory2x(host2)，登录History Server页面。 History Server页面用于展示已完成和未完成的应用的运行情况。

查看更多 →

通过Web页面查看运行情况。 登录Manager主页面。在服务中选择Spark2x。 进入Spark2x概览页面，单击SparkWebUI任意一个实例，如JobHistory2x(host2)。 进入History Server页面。 History Server页面用于展示已完成和未完成的应用的运行情况。

查看更多 →

/mr-history/tmp 固定目录 MapReduce作业产生的日志存放位置 是 日志信息丢失 /mr-history/done 固定目录 MR JobHistory Server管理的日志的存放位置 是 日志信息丢失 /tenant 添加租户时创建 配置租户在HDFS中的存储目录，系统默认将自

查看更多 →

置。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 spark-beeline和spark-sql 可使用s

查看更多 →

待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web UI界面 通过YARN服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群

查看更多 →

audit.log Mapreduce /var/log/Bigdata/audit/mapreduce/jobhistory/mapred-audit-jobhistory.log Oozie /var/log/Bigdata/audit/oozie/oozie-audit.log

查看更多 →

Manager，选择“集群 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web UI界面 通过YARN服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群

查看更多 →

持。 MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 前提条件 已安装Ranger服务且服务运行正常。 已启用

查看更多 →

待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web UI界面 通过YARN服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群

查看更多 →

待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web UI界面 通过YARN服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群

查看更多 →

解决ResourceManager主备倒换导致作业状态不更新问题 解决部分场景下备份恢复失败问题 解决HMaster频繁出现进程故障告警问题 大数据组件 解决jobhistory内存泄漏问题 解决Hive truncate表超时失败问题 解决Hive增量任务失败后表数据文件不存在问题 解决Hive sql运行异常问题

查看更多 →

导致Spark服务启动异常。 修改相关配置项时请严格按照提示描述，确保修改后的值有效。 删除所有JobHistory实例 导致历史应用的event log丢失。 至少保留一个JobHistory实例，观察JobHistory中是否可以查看历史应用信息。 删除或修改HDFS上的spark-archive文件

查看更多 →

remote-app-log-dir-suffix”参数还需要在Yarn的客户端进行配置，且在ResourceManager、NodeManager和JobHistory节点的配置与在Yarn的客户端的配置必须一致。 周期性收集日志功能目前仅支持MapReduce应用，且MapReduce应用必须进

查看更多 →