文档首页/ MapReduce服务 MRS/ 用户指南/ MRS集群运维/ MRS集群告警处理参考/ ALM-43029 JDBCServer作业提交超时
更新时间：2024-11-22 GMT+08:00
查看PDF
分享

ALM-43029 JDBCServer作业提交超时

本章节仅适用于MRS 3.5.0及之后版本。

告警解释

用户提交JDBC作业后，会尝试创建JDBCServer进程，并建立Session连接，在建立连接成功前，如果超出预设阈值，则会发出该告警。与该告警相关的配置参数有两个：

  • spark.thriftserver.proxy.create.session.monitor.enabled，控制是否启用该告警功能，集群默认配置为true。
  • spark.thriftserver.proxy.create.session.timeout.threshold，表示JDBC作业提交耗时的阈值。当系统检测到超过该阈值后，仍未开始执行时，触发该告警。单位为秒（s），集群默认配置为180s。

告警属性

告警ID

告警级别

是否可自动清除

43029

重要

否

告警参数

类别

参数名称

参数含义

定位信息

来源

产生告警的集群名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

附加信息

User_Queue

产生该告警的提交用户及队列名称。

对系统的影响

系统负载高导致JDBC作业提交耗时增加，可能影响作业执行效率。同时，因为是异步检测，所以该告警触发并不会影响作业继续执行。

可能原因

该节点JDBCServer存在负载高等原因，需客户通过集群采集的系统指标及作业执行情况关注集群健康度。

处理步骤

检查上报告警的JDBCServer实例

  1. 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“ID”为“43029”的告警，查看“定位信息”中的角色名以及确认主机名所在的IP地址，查看“附加信息”确认请求的用户名及队列名称。

重新执行受影响的JDBCServer作业

  1. 通过“附加信息”中的用户名和队列名称，选择“集群 > 服务 > Yarn > ResourceManager(主)”，登录Yarn的原生页面。找到对应的Application，并通过Driver日志以及SparkUI确认是否影响作业的正常提交。确认并记录造成影响的作业，以便重新执行。
  2. 在FusionInsight Manager首页，选择“集群 > 服务 > Spark > 实例”，单击告警上报的JDBCServer，选择“更多 > 重启实例”.
  3. 选择“运维 > 告警 > 告警”，查找上报的告警，在操作列单击“清除”，手动清除该告警。
  4. 重新执行受影响的作业，观察后续作业是否还会触发该告警。

    • 否，操作结束。
    • 是，执行6。

收集故障信息

  1. 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
  2. 在“服务”中勾选待操作集群的“Spark”。
  3. 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。
  4. 请联系运维人员，并发送已收集的故障日志信息。

告警清除

需手工清除。

参考信息

不涉及。

相关文档