更新时间:2022-01-21 GMT+08:00
分享

日志异常检测

  • 适用领域

    网络领域

  • 场景

    运维人员日常运维场景,因告警不足,造成现网故障无法及时感知。日志异常检测模型服务通过日志实时检测,快速并准确检测出故障,并推荐故障对应的关键异常日志及其上下文,辅助运维人员定位故障根因。

  • 功能描述

    基于大数据挖掘技术,对非结构化运行日志进程异常检测,生成告警信息并上报,支持大数据量流式日志的分钟级实时异常检测;支持检测模型的在线学习与实时更新。通过高效预警异常,避免事故升级,同时精确识别关键日志,助力问题快速闭环,降低运维成本和风险。

  • 输入数据格式

    日志检测指标字段描述如表 日志检测指标表所示。

    表1 日志检测指标字段表

    名称

    类型

    长度

    是否必须

    描述

    thread

    String

    64

    Y

    线程号

    level

    String

    32

    Y

    级别

    serviceName

    String

    255

    Y

    服务名称

    context

    String

    32

    Y

    内容

    collect_time

    String

    32

    Y

    采集时间

  • 输出数据格式

    异常点字段描述如表 异常点字段表所示。

    表2 异常点字段表

    名称

    类型

    长度

    是否必须

    描述

    serialId

    String

    255

    Y

    告警实例ID

    alarmSource

    String

    255

    Y

    告警资源

    reportTime

    timestamp

    29

    Y

    上报时间

    severity

    String

    255

    Y

    告警级别

    clearFlag

    String

    255

    Y

    清除记录

    raiseTime

    timestamp

    29

    Y

    异常上报时间

    neId

    String

    255

    Y

    网元ID

    normId

    String

    255

    Y

    日志ID

    title

    String

    255

    Y

    告警标识

    alarmType

    String

    255

    Y

    告警类型

  • 流程详情

    在“应用货架”中单击“日志异常检测”,可查看流程详情。

    数据对接:将采集的数据按特定格式提取并传给下一个节点。

    数据转换:按照特定的格式将数据源读取的数据转换为日志检测的输入数据。

    日志异常检测:读取数据转换后的日志,对日志进行异常检测,输出到记录集。

    记录集:存放原始日志信息和日志异常检测结果。

  • 大屏详情

    在“应用货架”中单击“日志异常检测”,可查看大屏详情。

分享:

    相关文档

    相关产品

关闭导读