更新时间：2024-11-29 GMT+08:00
ALM-43617 GraphBase实时导入等待队列超出阈值
告警解释
系统每30秒周期性检测GraphBase正在实时导入的等待队列是否超过阈值，当检测到超过所设置阈值时就会产生该告警 。
告警属性
|
告警ID |
告警级别 |
告警类型 |
业务类型 |
是否可自动清除 |
|---|---|---|---|---|
|
43617 |
次要 |
业务质量告警 |
GraphBase |
是 |
告警参数
|
类别 |
参数名称 |
参数含义 |
|---|---|---|
|
定位信息 |
来源 |
产生告警的集群名称。 |
|
服务名 |
产生告警的服务名称 |
|
|
角色名 |
产生告警的角色名称 |
|
|
主机名 |
产生告警的主机名称 |
|
|
附加信息 |
TaskId |
yarn作业的任务ID |
对系统的影响
- 导致实时导入阻塞，导入时间变长。
- 可能会导致实时导入卡死。
可能原因
- 导入的数据过大，导入的配置不合理。
- 阈值设置过低。默认为100。
处理步骤
检查实时导入等待队列超过阈值。
- 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Yarn > ResourceManager(主)”，进入Yarn的WebUI界面，查看GraphBase相关的sparkstreaming yarn作业。
admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。
- 单击Yarn任务界面的“ApplicationMaster”，进入Spark任务界面。
- 单击streaming，查看阻塞队列情况。
- 客户端暂停不要发送其它实时导入的yarn任务，一段时间后，观察告警是否自动清除，告警消除，表示阻塞队列恢复正常。
- 如果阻塞队列持续存在，下载故障日志分析原因。在FusionInsight Manager首页，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > GraphBase > 阈值”，重新设置“graphStreaming实时导入等待队列”阈值。
- 等待一分钟，查看告警是否恢复。
- 是，操作结束。
- 否，执行7。
收集故障信息。
- 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。
- 在“服务”中勾选待操作集群的“GraphBase”。
- 单击右上角的
设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后30分钟，单击“下载”。 - 请联系运维人员，并发送已收集的故障日志信息。
告警清除
此告警修复后，系统会自动清除此告警，无需手工清除。
参考信息
不涉及。
父主题： 告警参考
