- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 授权IAM用户使用云日志服务LTS
- 购买LTS资源包
- 日志管理
-
日志接入
- 日志接入概述
- 使用ICAgent插件采集日志
-
使用云服务接入LTS
- 云服务接入LTS概述
- 应用运维管理AOM接入LTS
- API网关APIG接入LTS
- Astro轻应用接入LTS
- 云堡垒机CBH接入LTS
- 内容分发网络CDN接入LTS
- 云防火墙CFW接入LTS
- 云审计服务CTS接入LTS
- 分布式缓存服务DCS接入LTS
- 文档数据库服务DDS接入LTS
- DDoS防护 AAD接入LTS
- 分布式消息服务Kafka版接入LTS
- 数据复制服务DRS接入LTS
- 数据仓库服务GaussDB(DWS)接入LTS
- 弹性负载均衡 ELB接入LTS
- 企业路由器ER接入LTS
- 函数工作流FunctionGraph接入LTS
- 云数据库GaussDB接入LTS
- 图引擎服务GES接入LTS
- 云数据库 TaurusDB接入LTS
- 云数据库GeminiDB接入LTS
- 云数据库GeminiDB Mongo接入LTS
- 云数据库GeminiDB Cassandra接入LTS
- 华为HiLens接入LTS
- 设备接入IoTDA接入LTS
- AI开发平台ModelArts接入LTS
- MapReduce服务MRS接入LTS
- 云数据库RDS for MySQL接入LTS
- 云数据库RDS for PostgreSQL接入LTS
- 云数据库RDS for SQLServer接入LTS
- 应用与数据集成平台ROMA Connect接入LTS
- 视频直播Live接入LTS
- 消息通知服务SMN接入LTS
- 安全云脑SecMaster接入LTS
- 对象存储服务OBS接入LTS(邀测)
- 虚拟私有云VPC接入LTS
- Web应用防火墙WAF接入LTS
- 使用API接入LTS
- 使用SDK接入LTS
- 跨IAM账号接入LTS
- 使用KAFKA协议上报日志到LTS
- 使用Flume采集器上报日志到LTS
- 使用匿名写入采集日志
- 自建中间件
- 日志搜索与分析(默认推荐)
- 日志搜索与分析(管道符方式-邀测)
- 日志可视化
- 日志告警
- 日志转储
- 日志消费与加工
- LTS配置中心管理
- 查看LTS审计事件
- 最佳实践
- 开发指南
- API参考
- SDK参考
- 场景代码示例
- 常见问题
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
进入搜索LTS日志页面
云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成:针对非结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构:* and msg:"hello world" | SELECT avg(value)
管道符搜索方式的功能在邀测中,暂不支持申请开通。
目前支持两种查询方式(以kibana上的查询语句为例):
- 情景1:仅包含sql查询
POST _opendistro/_sql/ { "query": "select current_date() from employee" }
- 情景2:包含lpl查询和sql查询
POST _opendistro/_sql/ { "query": "age >22 | select name, count(name) from employee group by name" }
用户如果仅需要使用lpl语句来查询,可以在管道符“|”的右侧补上select * from table.
数据组织形式
管道符特性针对特定的数据组织形式,对于云日志服务而言,管道符特性的数据主要由两部分构成,一部分是结构化数据,一部分是原始日志。示例如下:
{"id": 1, "name": "Bob", "job": "java", "age": 21, "sal": 8000, "gender": "female", "_log": "name: Bob, job: java, age: 21, sal: 8000, gender: female"}
其中:“id”,“name”,“job”,“age”,“sal”和“gender”是结构化数据的字段,“_log”是原始日志字段。
使用限制
- SQL函数不支持显式转为double、float类型,例如* | select cast(1 as double)
- SQL函数查询字段别名不支持包含.,比如* | select compare(`c.c`,1) as diff from (select count(status) as `c.c`) as t
- 索引字段名称中含有特殊字符的语句,需要使用半角符号“`”将字段名称包含起来。
日志搜索分析
- 在云日志服务管理控制台,单击“日志管理”。
- 在日志组列表中,单击日志组名称前对应的
按钮。
- 在日志流列表中,单击日志流名称,进入日志详情页面。
- 在“统计图表”页签,在右上角选择时间范围,可以查看原始日志和统计图表。在搜索框由搜索语句和SQL分析语句组成,两者通过管道符|联动,详细请参考SQL函数。
时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。
- 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。
- 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。
- 自定义:表示查询指定时间范围的日志数据。
交互模式
使用交互模式之前,请确保日志正常上报,且已经完成结构化分析和索引配置,详细请参考设置云端结构化解析日志和设置LTS日志索引配置。
交互式搜索分析适用于生成简单的分析语句,操作简单,通过在界面上设置搜索条件和指定日志查询时的过滤规则,从而筛选日志中满足条件的记录。如果您需要使用更多的函数或者嵌套查询,请手动输入SQL语句。详细请参考SQL函数。
- 单击搜索框前面的“交互模式”,进入交互式搜索分析页面,支持日志搜索和日志分析。
- 在“日志搜索”下方的下拉框选择日志搜索的字段和条件,搜索框则会展示对应字段的值。根据业务需要,用户可以自定义设置搜索方式,添加关联关系或添加组进行搜索。
- 下拉框显示的字段为索引配置字段、结构化字段、内置保留字段。
- 且(AND)表示在多个条件中需要同时满足所有条件才能成立。
- 或(OR)表示在多个条件中只需满足其中一个条件即可。
例如在界面上选择content、hostId、pathFile字段,设置不同的条件,随时可以预览搜索语句,如有问题,可以修改搜索条件,操作简单。
(截图仅供参考,请以实际搜索结果为准)
(content:"{\"string_withindex\":\"11/10/2024:17:40:13\",\"string_noindex\":\"11/10/2024:17:40:13\",\"rizhineirongbaohanshuangyinhao\":\"\\"error\\"\",\"rizhineirongbaohanyufaguanjianci\":\"and\",\"long_withindex\":1829169,\"long_noindex\":1829169,\"float_withindex\":1829169.5678,\"float_noindex\":1829169.5678,\"json\":{\"string_withindex\":\"11/10/2024:17:40:13\",\"string_noindex\":\"11/10/2024:17:40:13\",\"long_withindex\":1829169,\"long_noindex\":1829169,\"float_withindex\":1829169.5678,\"float_noindex\":1829169.5678}}" AND hostId:82de1569-0423-42b3-ab72-2ed8e54df664) OR pathFile:/root/221/testq.log
- 设置完成后,单击“确定”,LTS根据搜索语句进行日志搜索,在日志搜索下方即可查看搜索结果。(截图仅供参考,请以实际搜索结果为准)
- 单击搜索框前面的“交互模式”,进入交互式搜索分析页面,在日志分析下方,设置分析规则。(截图仅供参考,请以实际搜索结果为准)
- 添加指标,选择统计函数作用于选定的字段,计算出用户想要的指标。
- 分组排序(添加分组和添加排序),先基于用户选择的字段分组(group by),然后分组执行指标统计,最后对结果进行排序(order by)。
- 设置完成后,单击“确定”,在“统计图表”页面,即可查看分析结果。更多信息请参考使用统计图表将日志可视化。
日志搜索的常用操作
日志搜索的常用操作有分享日志、刷新等操作,具体参考表1。
操作 |
说明 |
---|---|
创建快速查询 |
单击 |
查看仪表盘 |
单击 |
添加告警 |
单击 |
分享日志 |
单击 |
刷新日志 |
单击
|
复制 |
单击 |
查看上下文 |
单击 支持选择简洁模式查看日志上下文。支持下载上下文内容。 |
更多操作 |
单击
|
换行/取消换行 |
单击 |
下载日志 |
该功能仅支持白名单用户使用,如有需要,请提交工单申请开通。 鼠标悬浮在
|
全部折叠/全部展开 |
单击 |
JSON设置 |
鼠标悬浮在 默认开启格式化,JSON默认展开层级为2层。若日志包含多个反斜杠,当日志展示为json格式时,会丢失一个反斜杠,因为json解析会将第一个反斜杠作为转义符处理。
|
日志折叠设置 |
鼠标悬浮在 日志超过设置的长日志字符个数时,超出字符将被隐藏,单击“展开”按钮可查看全部内容。 默认开启自动折叠长日志,字符个数默认为400个。 |
日志时间展示 |
鼠标悬浮在 |
虚拟滚动设置 |
鼠标悬浮在
|
不可见字段列表 |
该列表展示版面设置中配置的不可见性字段。
|