基于应用运行日志（Log4j格式）分析

背景信息

Log4j是Apache的一个开源项目，通过使用Log4j工具，我们可以将日志输出并保存到日志文件中，开发或运维人员会基于该日志统计日志级别的数量和占比，或者通过运行日志统计业务数据。

如统计今天某商品的交易量，示例日志如下：

2020-12-28_21:10:48.081 [http-nio-8083-exec-6] INFO  discounted shoes - num is :9

操作步骤

1. 在云日志服务管理控制台，单击“日志接入”，进入日志接入页面。
2. 选择“云主机 ECS - 文本日志”，进行接入日志配置。

3. 选择日志流。
   1. 单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组，若没有所需的日志组，单击“所属日志组”目标框后的“新建”，在弹出的创建日志组页面创建新的日志组。
   2. 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流，若没有所需的日志流，单击“所属日志流”目标框后的“新建”，在弹出的创建日志流页面创建新的日志流。
   3. 单击“下一步：选择主机组（可选）”。

      

4. 选择主机组。
   1. 在主机组列表中选择一个或多个需要采集日志的主机组，若没有所需的主机组，单击列表左上方“新建”，在弹出的新建主机组页面创建新的主机组，具体可参考创建主机组。
      

      主机组可以为空，可以在接入配置设置完成后对主机组进行设置。

      • 在“主机管理 > 主机组”页面对主机组和接入配置进行关联。
      • 在接入配置详情中对主机组和接入配置进行关联。
   2. 单击“下一步：采集配置”。

5. 采集配置。
   1. 对主机日志采集设置具体的采集规则，具体可参考采集配置。
   2. 设置完成后单击“提交”，接入成功。

6. 在日志流详情页面，单击，在“云端结构化解析”页面，选择“正则分析”提取方式，根据业务需求选择日志，将日志正文拆分成四个部分：Time1/ThreadName/Level/Message，如下图1所示。
   图1 配置正则分析格式日志
   

7. 在日志流详情页面，单击“可视化”页签，进行SQL查询与分析，如需要多样化呈现查询结果，请参考日志结构化进行配置。
   • 统计最近7天内错误类型的分布，具体SQL查询分析语句如下所示：

      SELECT Level, count(*) as Number group by Level

   • 统计近5分钟内运行中的线程，具体SQL查询分析语句如下所示，输入查询语句并将时间选择为“近5分钟”。

     SELECT distinct(ThreadName)

   • 统计某型号商品的总交易量，具体SQL查询分析语句如下所示：

     SELECT sum(cast(regexp_extract(Message, 'num is\s:(?<Total>[\d]+)', 1) as double)) as Total WHERE Message like '%shoes%'