更新时间:2026-08-27 GMT+08:00
使用LTS实现日志TopN统计与时间排序可视化
在云上业务运维场景中,日志数据是问题排查、性能分析和业务监控的核心依据。然而,面对海量日志数据,如何高效的从中提取有效信息,是运维人员面临的主要挑战。云日志服务(LTS)提供了日志采集、存储、查询、分析和可视化的一站式能力。在实际运维中,TopN统计和时间排序是两种常用的日志查询方式:
- TopN统计:从海量日志中快速定位排名前N的关键数据,例如源IP流量、目的IP和目的端口流量等,帮助您聚焦核心问题,快速定位异常根源。
- 时间排序:按时间维度梳理日志数据,展示指标随时间的变化趋势,例如每小时的请求量走势、每分钟的错误率变化等,帮助您发现性能规律和异常波动时间窗口。
本实践将以上两种查询方式贯穿全文,介绍如何编写TopN和时间排序SQL查询语句,并配置图表、折线图等可视化图表,帮助您构建从日志采集到可视化分析的完整操作。
前提条件
- 如果您使用华为账号创建的IAM用户进行操作,IAM用户需要具备足够的权限才能使用云日志服务。具体操作请参见通过IAM授予使用LTS的权限。
- 已创建日志组和日志流,请参见创建日志组和创建日志流。
- 日志已接入LTS,请参考日志接入。
- 已对日志完成结构化配置,具体操作请参考日志结构化概述。
TopN统计查询与可视化
TopN统计用于从海量日志中快速定位排名前N的关键数据,适用于热点分析、异常定位和资源排名等场景。
- 登录云日志服务控制台,进入“日志管理”页面。
- 单击目标日志组或日志流名称,进入日志流详情页面。
- 选择“统计图表”,在SQL查询条件框中,选择对应时间并输入搜索和分析语句,单击“查询”进行日志搜索 以ER企业路由器云端结构化模板为例,进行查询。ER流日志参数的详细说明,请参考查看流日志信息。
- 示例1:查询源地址流量top 3。
* | select srcaddr as "源地址" ,sum(bytes)/1024.0/1024.000 as "流量/MB" from log group by "源地址" order by "流量/MB" desc limit 3
图1 源地址流量top 3
- 示例2:查询目的地址与目的端口流量top 3。
* | select dstaddr as "目的地址", dstport as "目的端口" ,sum(bytes)/1024.0/1024.000 as "流量/MB" from log group by "目的地址","目的端口" order by "流量/MB" desc limit 3
图2 目的地址与目的端口流量top 3
- 示例1:查询源地址流量top 3。
时间排序查询与可视化
时间排序按时间维度梳理日志数据,展示指标随时间的变化趋势,适用于流量监控、错误率走势和性能趋势分析等场景。
- 登录云日志服务控制台,进入“日志管理”页面。
- 单击目标日志组或日志流名称,进入日志流详情页面。
- 选择“统计图表”,在SQL查询条件框中,选择对应时间并输入搜索和分析语句,单击“查询”进行日志搜索。
单击右侧
折线图,分别选择X轴数据和维度列,可视化展示时间排序图。示例:查询时间段内,总流量TOP5源地址每分钟流量变化趋势。
* | select time_format(from_unixtime(__time - __time%60000), 'yyyy-MM-dd HH:mm:ss') as t, srcaddr as "源地址", sum(bytes)/1024.0/1024.000 as "流量/MB" from log where srcaddr in (select srcaddr from log group by srcaddr order by sum(bytes) desc limit 5) group by t,"源地址" order by t limit 1000
图3 总流量TOP5源地址每分钟流量变化

父主题: 日志搜索与分析