更新时间:2021-10-26 GMT+08:00
查看OBS任务的检测结果
操作说明
- 系统支持对OBS桶中的文件夹构建检测任务,日志异常检测的规则和限制如下:
- 日志文件解析会依据文件名ASCII字典序由小到大解析。
- 实时的对文件夹中新增加的日志文件进行增量检测;且对于已经解析过的文件,如果内容做了修改,不会再次被解析。
- 页面当前最大仅支持展示最近15天时间窗口的检测数据。
- 日志检测任务启动后,增量检测文件中的时间窗必须晚于已检测文件中的时间窗;否则,需要增量检测的日志文件将被丢弃。
- 检测OBS桶中的日志之前,需要先在OBS桶中创建对应的目录和上传需要检测的日志文件。
- 检测的日志文件必须满足如下条件,否则会导致无法识别、或者无法检测。
- 文本文件不大于100M。
- 文件名不包含特殊字符。
- 文本文件的后缀为“*.log”。
- 当前只支持utf-8编码的日志文件。
- 上传本地日志到OBS桶中的操作,请参考本地上传完成。
- 检测的日志文件必须满足如下条件,否则会导致无法识别、或者无法检测。
- 鉴于仅自定义网元可以创建OBS任务,本章节以在自定义网元“Test”下查看OBS任务的检测结果为例介绍。
操作步骤
- 在“日志检测”首页,选择自定义网元“Test”,进入“Test”网元的详情页面。
- 查询OBS任务。
- “来源”选择“OBS”。
- “数据检测”中分别选择服务名称、主机IP。
- “数据检测”中对应的选项中,包含了当前项目中,当前网元下所有执行过且未删除的OBS任务记录。
- 如果“数据检测”中没有可选项,说明当前网元中没有可查询的检测结果信息,如需创建,单击“OBS配置”,参考OBS任务进行配置和执行。
- 单击“查询”。
- “检测结果”区域展示对应的检测结果信息,如下图所示。
该任务中进行日志检测的模型,每隔5分钟会更新一下,系统会根据新获取到的模型对远程服务上增量的检测数据进行实时检测。
图1 检测结果页面- 异常灵敏度,如下图所示。
“异常灵敏度”:表示异常判别器对每个时间窗口异常分数的预测值。异常灵敏度取值范围 (0.1, 0.9),取值越大窗口可能被识别的异常越多。
图2 异常灵敏度 - 基本信息,如下图所示。
- 展示周期:
- 自定义时间:可以自定义检测的开始时间和结束时间。
- 最近24小时:当前页面展示最近24小时内的检测结果。
- 最近7天:当前页面展示最近7天内的检测结果。
- “日志总数(条数)”表示检测的日志总条数。
- “异常数量”表示检测出的异常日志的个数。
- “异常窗口数”表示检测出的异常窗口数(即折线图中的异常节点数),以及异常窗口的处理分布情况和图标样例。
图3 基本信息 - 展示周期:
- 异常日志监控,如下图所示。
- 异常日志监控结果图:展示了包括不同时间点出现的错误数量,以及异常点是否完成异常确认的图标样例(主要展示在结果图的右上角)。
- 异常日志:针对检测出来的异常点,推荐关键的日志列表。
图4 异常日志监控 - 异常日志分析,如下图所示。
- 异常日志:展示检测日志中异常的列表,且异常类型按照出现频率由高到底排列,可以直观的了解到检测日志中高频的异常类型。
图5 异常日志分析
- 异常灵敏度,如下图所示。
- 查询和反馈异常日志的状态。
以“异常日志监控”场景的操作为例介绍,“异常日志分析”场景主要是对异常日志的状态进行反馈操作。
- 单击异常日志监控结果图中的任一个红点或者黄点,在“异常日志”中展示出该时间点检测出的异常日志列表。
- 在“异常日志”区域展示的日志列表中,单击单条日志记录对应的“详情”按钮,弹出“日志上下文”对话框,如下图所示。
- 关闭“日志上下文”对话框,单击单条日志记录对应的“异常确认”按钮,弹出“异常确认”对话框,如下图所示。图7 异常确认
- 在“异常确认”对话框中,进行该条日志的状态标识和报错信息描述,如下所示:
- 根据“日志上下文”中的内容分析和判断,标识日志“状态”
- 误报:如果该条日志中的报错信息为非问题,标识该条日志的状态为“误报”。
- 异常:如果该条日志中的报错信息为异常信息,标识该条日志的状态为“异常”。
- 在“描述”文本框中填写该条日志中异常信息或者误报信息的描述。
- 单击“确定”,完成该条日志的反馈标识。图8 异常和误报标识
- 根据“日志上下文”中的内容分析和判断,标识日志“状态”
- 日志异常反馈完成后,“检测结果”和“异常日志监控结果图”页面进行了及时更新如下:
父主题: 日志检测
