更新时间:2022-03-25 GMT+08:00
分享

GC异常检测

  • 分类

    异常检测

  • 适用领域

    网络领域

  • 使用场景

    运维人员日常运维场景,因告警不足,造成现网故障无法及时感知。GC日志异常检测模型服务通过GC日志实时检测,快速并准确检测出故障,辅助运维人员定位故障根因。

  • 功能说明

    基于大数据挖掘技术,对GC日志进程异常检测,生成告警信息并上报,支持大数据量流式日志的秒级实时异常检测;支持检测模型的在线学习与实时更新。通过高效预警异常,避免事故升级,同时精确识别关键日志,助力问题快速闭环,降低运维成本和风险。

  • 输入数据
    1. 输入日志
    • 接入方式:kafka
    • 日志字段描述如表 日志字段表所示
      表1 日志字段表

      名称

      类型

      长度

      是否必须

      描述

      log_time

      date

      64

      Y

      日志采集时间

      log_id

      String

      255

      Y

      日志标识

      level

      String

      255

      Y

      日志级别

      file_path

      String

      255

      Y

      日志文件路径

      host_ip

      String

      255

      Y

      主机IP

      service_name

      String

      255

      Y

      服务名

      task_id

      String

      255

      Y

      实例ID

      message

      String

      255

      Y

      日志详情

      type

      String

      255

      Y

      日志类型

      extra_info

      String

      2048

      Y

      扩展信息

      ne

      String

      255

      Y

      网元

      host_name

      String

      255

      Y

      主机名

      pid

      String

      255

      Y

      线程号

      moId

      String

      255

      Y

      网元Id

  • 输出数据
    1. GC异常结果
    • 接入方式:kafka
    • log_result异常点字段描述如表 log_result 异常点表所示
      表2 log_result异常点字段表

      名称

      类型

      长度

      是否必须

      描述

      serialId

      String

      255

      Y

      告警实例ID

      alarmSource

      String

      255

      Y

      告警资源

      reportTime

      timestamp

      29

      Y

      上报时间

      severity

      String

      255

      Y

      告警级别

      clearFlag

      String

      255

      Y

      清除记录

      raiseTime

      timestamp

      29

      Y

      异常上报时间

      neId

      String

      255

      Y

      网元ID

      normId

      String

      255

      Y

      日志ID

      title

      String

      255

      Y

      告警标识

      alarmType

      String

      255

      Y

      告警类型

  • 流程样例
    1. 数据对接 -> 数据转换 -> gc异常检测 -> 记录集

    数据对接:将采集的数据按特定格式提取并传给下一个节点。

    数据转换:按照特定的格式将数据源读取的数据转换为日志检测的输入数据。

    GC异常检测:读取数据转换后的日志,对日志进行异常检测,输出到记录集。

    记录集:存放原始日志信息和日志异常检测结果。

  • 使用约束

    暂无

分享:

    相关文档

    相关产品

close