云日志服务 LTS
云日志服务 LTS
- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 授权IAM用户使用云日志服务LTS
- 购买LTS资源包
- 日志管理
-
日志接入
- 日志接入概述
- 使用ICAgent插件采集日志
-
使用云服务接入LTS
- 云服务接入LTS概述
- 应用运维管理AOM接入LTS
- API网关APIG接入LTS
- Astro轻应用接入LTS
- 云堡垒机CBH接入LTS
- 内容分发网络CDN接入LTS
- 云防火墙CFW接入LTS
- 云审计服务CTS接入LTS
- 分布式缓存服务DCS接入LTS
- 文档数据库服务DDS接入LTS
- DDoS防护 AAD接入LTS
- 分布式消息服务Kafka版接入LTS
- 数据复制服务DRS接入LTS
- 数据仓库服务GaussDB(DWS)接入LTS
- 弹性负载均衡 ELB接入LTS
- 企业路由器ER接入LTS
- 函数工作流FunctionGraph接入LTS
- 云数据库GaussDB接入LTS
- 图引擎服务GES接入LTS
- 云数据库 TaurusDB接入LTS
- 云数据库GeminiDB接入LTS
- 云数据库GeminiDB Mongo接入LTS
- 云数据库GeminiDB Cassandra接入LTS
- 华为HiLens接入LTS
- 设备接入IoTDA接入LTS
- AI开发平台ModelArts接入LTS
- MapReduce服务MRS接入LTS
- 云数据库RDS for MySQL接入LTS
- 云数据库RDS for PostgreSQL接入LTS
- 云数据库RDS for SQLServer接入LTS
- 应用与数据集成平台ROMA Connect接入LTS
- 视频直播Live接入LTS
- 消息通知服务SMN接入LTS
- 安全云脑SecMaster接入LTS
- 对象存储服务OBS接入LTS(邀测)
- 虚拟私有云VPC接入LTS
- Web应用防火墙WAF接入LTS
- 使用API接入LTS
- 使用SDK接入LTS
- 跨IAM账号接入LTS
- 使用KAFKA协议上报日志到LTS
- 使用Flume采集器上报日志到LTS
- 使用匿名写入采集日志
- 自建中间件
- 日志搜索与分析(默认推荐)
- 日志搜索与分析(管道符方式-邀测)
- 日志可视化
- 日志告警
- 日志转储
- 日志消费与加工
- LTS配置中心管理
- 查看LTS审计事件
- 最佳实践
- 开发指南
- API参考
- SDK参考
- 场景代码示例
- 常见问题
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
构建字典与表格进行数据富化
字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。
字典构建
不同字典构建方式对比参考如下:
构建方式 |
优点 |
缺点 |
---|---|---|
直接构建 |
直观、简单、方便。 |
如果内容较多,规则会相对冗长。且静态不灵活。 |
从任务配置资源构建 |
内容较多且经常修改时推荐使用,易于维护。 |
不易于扩展和跨任务复用,不支持自动刷新。 |
从表格构建 |
高级场景下使用,维护机制更灵活。 |
需要构建和维护对应的表格,过程相对繁琐。 |
从字典函数构建 |
基于逻辑动态构建字典,特定场景下适用。 |
较为高级,不易于维护。 |
从其他表达式构建 |
从日志事件的字段中动态提取映射关系,特定场景下适用。 |
较为高级,不易于维护。 |
- 直接构建
e_dict_map({"400": "error", "200": "ok", "*": "other"}, "status", "message")
- 从任务高级配置构建
e_dict_map(res_local("http_code_map"), "status", "message")
其中http_code_map是任务高级配置项,值为:
- 从表格构建
使用tab_to_dict从表格构建。而表格的构建参见本文后面的表格构建。
e_dict_map(tab_to_dict(tab_parse_csv("status_code,status_info\n400,error\n200,ok\n*,other"), "status_code", "status_info"), "status", "message")
- 从字典函数构建
e_dict_map(dct_make("400", "error", "200", "ok", "*", "other"), "status", "message")
- 从其他表达式构建
e_dict_map(json_parse(v("http_code_map")), "status", "message")
此处从源日志的http_code_map字段中获取映射关系。
表格构建
不同表格构建方式对比参考如下:
构建方式 |
优点 |
缺点 |
---|---|---|
从文本构建 |
直观、简单、方便。 |
如果内容较多,规则会相对冗长。不易于维护、扩展和复用。 |
从OBS资源构建 |
内容较多且不常修改时推荐使用,易于维护。 |
编写相对复杂。 |
- 从文本构建
e_table_map(tab_parse_csv("city,name,age\nshanghai,baixiao,10\ncity:nanjing,Maki,18"), "name",["city", "age"])
- 从OBS资源构建
e_search_table_map(tab_parse_csv(res_obs_file("https://obs.xxx.myhuaweicloud.com","dsl-test-xx","data.csv")), "name",["city", "age"])
其中data.csv是obs中的文件,值为:
e_search_table_map(tab_parse_csv(res_obs_file("https://obs.xxx.myhuaweicloud.com","dsl-test-xx","data.csv")), "name",["city", "age"])
父主题: 数据富化