Core（Scala和Java）样例程序。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 运行程序时可根据需要选择运行模式： --deploy-mode client：driver进程在客户端运行，运行结果在程序运行后直接输出。

查看更多 →

Manager，单击“服务管理 > MapReduce > JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web UI界面 通过YARN服务的WebUI进行查看 登录 MRS Manager，单击“服务管理 > Yarn > Resou

查看更多 →

park应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 父主题： 在Linux环境中调测Spark应用

查看更多 →

park应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 父主题： 在Linux环境中调测Spark应用

查看更多 →

Manager支持包周期集群指定节点缩容 MRS 1.8.10.5 修复问题列表： MRS Manager 优化补丁机制 MRS大数据组件 解决Spark JobHistory内存泄露问题 Hadoop/Hive/Spark支持OBS FileSystem Hadoop/Hive/Spark支持OBS加密功能

查看更多 →

Manager管理界面，单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，在左侧的导航列表中，单击“JobHistory2x > 界面”，配置如下参数。 表1 参数说明 参数 描述 默认值 spark.history.retainedApplications

查看更多 →

> 服务 ”。 选择“Spark”并在“Spark 概述”中“Spark Web UI”中单击“Spark Web UI”对应的“JobHistory”进入Web界面。 图4 ResourceManager Web UI 图5 Spark History Server 父主题： 使用Spark（MRS

查看更多 →

请登录 FusionInsight Manager管理界面，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，在左侧的导航列表中，单击“JobHistory2x > 界面”，配置如下参数。 表1 参数说明 参数 描述 默认值 spark.history.retainedApplications

查看更多 →

Manager管理界面，单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，在左侧的导航列表中，单击“JobHistory2x > 界面”，配置如下参数。 表1 参数说明 参数 描述 默认值 spark.history.retainedApplications

查看更多 →

true，该配置项取值默认为false。 登录Manager界面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置 > JobHistory2x > 自定义 > custom”，增加自定义配置项：spark.httpdProxy.enable=true。 图1 自定义配置项

查看更多 →

nv MRS 3.3.0-LTS及之后的版本中，Spark2x服务改名为Spark，服务包含的角色名也有差异，例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 kinit sparkuser 上传 CS V中的文件到HDFS的“/data”目录：

查看更多 →

Spark2x服务不可用 ALM-43006 JobHistory2x进程堆内存使用超出阈值 ALM-43007 JobHistory2x进程非堆内存使用超出阈值 ALM-43008 JobHistory2x进程直接内存使用超出阈值 ALM-43009 JobHistory2x进程GC时间超出阈值 ALM-43010

查看更多 →

sql.bigdata.thriftServer.useHdfsCollect参数设置为true时，将结果数据保存到HDFS中，但JobHistory原生页面上Job的描述信息无法正常关联到对应的SQL语句，同时spark-beeline命令行中回显的Execution ID为null，为解决JD BCS erver

查看更多 →

sql.bigdata.thriftServer.useHdfsCollect参数设置为true时，将结果数据保存到HDFS中，但JobHistory原生页面上Job的描述信息无法正常关联到对应的SQL语句，同时spark-beeline命令行中回显的Execution ID为null，为解决JDBCServer

查看更多 →

处理步骤 检查直接内存使用率。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > ALM-18015 JobHistory直接内存使用率超过阈值 > 定位信息”。查看告警上报的实例的IP地址。 在FusionInsight Manager首页，选择“集群

查看更多 →

park应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 查看调测结果 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。

查看更多 →

park应用。 在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。 查看调测结果 Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果数据查看应用程序运行情况。

查看更多 →

待操作集群的名称 > 服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web UI界面 通过YARN服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群

查看更多 →

Manager，选择“集群 >服务 > Mapreduce ＞ JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web UI界面 通过YARN服务的WebUI进行查看 使用具有任务查看权限的用户登录FusionInsight Manager，选择“集群

查看更多 →

10补丁之后Spring的包冲突导致部分Spark作业无法运行的问题 解决Spark的JobHistory进程z状态后，进程异常消失，不自愈，且无告警上报，存在可靠性风险的问题 解决Spark的JobHistory进程kill后，5min自愈，且无告警上报的问题 解决Spark2x切换补丁未替换Spark服务端Jar包的问题

查看更多 →

yarn资源本地化过程中下载了archives类型资源后自动解压目录可能被注入。 YARN NodeManager上本地化资源文件及SPARK JobHistory历史文件未定时清理，导致磁盘爆满。 在Yarn的原生界面单击“Allocated Memory MB”排序时出现页面异常响应。 其他问题:

查看更多 →