更新时间:2022-03-25 GMT+08:00
分享

日志异常检测

  • 分类

    异常检测

  • 适用领域

    网络领域

  • 使用场景

    运维人员日常运维场景,因告警不足,造成现网故障无法及时感知。日志异常检测模型服务通过日志实时检测,快速并准确检测出故障,并推荐故障对应的关键异常日志及其上下文,辅助运维人员定位故障根因。

  • 功能说明

    基于大数据挖掘技术,对非结构化运行日志进程异常检测,生成告警信息并上报,支持大数据量流式日志的分钟级实时异常检测;支持检测模型的在线学习与实时更新。通过高效预警异常,避免事故升级,同时精确识别关键日志,助力问题快速闭环,降低运维成本和风险。

  • 输入数据
    1. 系统日志
      • 接入方式:kafka
      • 日志字段描述如表 系统日志字段表所示
        表1 系统日志字段表

        名称

        类型

        长度

        是否必须

        描述

        log_time

        date

        64

        Y

        日志采集时间

        log_id

        String

        255

        Y

        日志标识

        level

        String

        255

        Y

        日志级别

        file_path

        String

        255

        Y

        日志文件路径

        host_ip

        String

        255

        Y

        主机IP

        service_name

        String

        255

        Y

        服务名

        task_id

        String

        255

        Y

        实例ID

        message

        String

        255

        Y

        日志详情

        type

        String

        255

        Y

        日志类型

        extra_info

        String

        2048

        Y

        扩展信息

        ne

        String

        255

        Y

        网元

        host_name

        String

        255

        Y

        主机名

        pid

        String

        255

        Y

        线程号

        moId

        String

        255

        Y

        网元Id

  • 输出数据
    1. 日志异常告警
      • 接入方式:kafka
      • log_result异常点字段描述如表2所示
        表2 log_result异常点字段表

        名称

        类型

        长度

        是否必须

        描述

        serialId

        String

        255

        Y

        告警实例ID

        alarmSource

        String

        255

        Y

        告警资源

        reportTime

        timestamp

        29

        Y

        上报时间

        severity

        String

        255

        Y

        告警级别

        clearFlag

        String

        255

        Y

        清除记录

        raiseTime

        timestamp

        29

        Y

        异常上报时间

        neId

        String

        255

        Y

        网元ID

        normId

        String

        255

        Y

        日志ID

        title

        String

        255

        Y

        告警标识

        alarmType

        String

        255

        Y

        告警类型

  • 流程样例
    1. 数据对接 -> 数据转换 -> 日志异常检测 -> 记录集

    数据对接:将采集的数据按特定格式提取并传给下一个节点。

    数据转换:按照特定的格式将数据源读取的数据转换为日志检测的输入数据。

    日志异常检测:读取数据转换后的日志,对日志进行异常检测,输出到记录集。

    记录集:存放原始日志信息和日志异常检测结果。

  • 使用约束

    输出的异常告警中,携带了告警所在日志行ID。当流程中需要引用日志异常行原文时,请在日志异常检测节点前放置记录集,AIOps服务将自动在输出事件中补充异常的日志原文。

分享:

    相关文档

    相关产品

close