更新时间:2024-11-29 GMT+08:00

ALM-50229 Doris FE连接OBS不可用

告警解释

系统每30秒周期性检查Doris FE实例节点对OBS的连接是否可用,当检查到连接状态码为非零时,产生该告警。

当检测到连接状态码为零时,告警恢复。

该告警仅适用于MRS 3.3.1及之后版本。

告警属性

告警ID

告警级别

告警类型

业务类型

是否可自动清除

50229

紧急

环境告警

Doris

告警参数

类别

参数名称

参数含义

定位信息

来源

产生告警的集群或系统名称。

服务名

产生告警的服务名称。

角色名

产生告警的角色名称。

主机名

产生告警的主机名。

附加信息

Detail

系统当前指标取值满足自定义的告警设置条件。

对系统的影响

Doris部分特性和功能不可用,例如:冷热分离和Hive OBS Catalog等。

可能原因

  • 获取的AK/SK失效。
  • 连接OBS失败。

处理步骤

确认上报告警原因

  1. 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,选中“告警ID”为“50229”的告警,查看“定位信息”中的角色名并确定实例的IP地址,查看“附加信息”中的CurrentValue值。

    • 若“CurrentValue”值为“2”,表示获取的AK/SK失效,执行2
    • 若“CurrentValue”值为“3”,表示连接OBS失败,执行7

获取的AK/SK失效

  1. 登录MRS云服务控制台,鼠标移到右上角登录用户名处,选择“我的凭证”。
  2. 单击“访问密钥”,检查密钥列表中对应的密钥的“状态”是否是“启用”。

    • 是,执行4
    • 否,在该密钥所在行的“操作”列,单击“启用”。

  3. 单击改密钥所在行的“删除”,删除该密钥。再单击“新增访问密钥”,单击“确定”,创建并下载新的访问密钥,并获取AK和SK。
  4. 将新获取的AK/SK重新配置至Resource的“obs.access_key”和“obs.secret_key”参数中。
  5. 等待1分钟左右,登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”,在告警列表中查看该告警是否清除。

    • 是,操作结束。
    • 否,执行7

连接OBS失败

  1. 检查集群和OBS网络是否连通。

    • 是,执行8
    • 否,执行12

  2. 登录MRS云服务管理控制台,在服务列表选择“统一身份认证服务 IAM > 委托”,在委托列表中单击MRS集群配置的委托名称。
  3. 单击“授权记录”,单击权限列表中各个策略的名称。
  4. 在“策略内容”中搜索“Action”,并查看是否包含“obs”。

    • 是,执行12
    • 否,执行11

  5. 根据配置Doris冷热分离操作指导创建OBS权限策略。等待15~20分钟左右,在告警列表中查看该告警是否清除。

    • 是,操作结束。
    • 否,执行12

  1. 请联系运维人员,进行故障诊断和修复。

告警清除

此告警修复后,系统会自动清除此告警,无需手工清除。

参考信息

不涉及。