云日志服务 LTS
云日志服务 LTS
- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 授权IAM用户使用云日志服务LTS
- 购买LTS资源包
- 日志管理
-
日志接入
- 日志接入概述
- 使用ICAgent插件采集日志
-
使用云服务接入LTS
- 云服务接入LTS概述
- 应用运维管理AOM接入LTS
- API网关APIG接入LTS
- Astro轻应用接入LTS
- 云堡垒机CBH接入LTS
- 内容分发网络CDN接入LTS
- 云防火墙CFW接入LTS
- 云审计服务CTS接入LTS
- 分布式缓存服务DCS接入LTS
- 文档数据库服务DDS接入LTS
- DDoS防护 AAD接入LTS
- 分布式消息服务Kafka版接入LTS
- 数据复制服务DRS接入LTS
- 数据仓库服务GaussDB(DWS)接入LTS
- 弹性负载均衡 ELB接入LTS
- 企业路由器ER接入LTS
- 函数工作流FunctionGraph接入LTS
- 云数据库GaussDB接入LTS
- 图引擎服务GES接入LTS
- 云数据库 TaurusDB接入LTS
- 云数据库GeminiDB接入LTS
- 云数据库GeminiDB Mongo接入LTS
- 云数据库GeminiDB Cassandra接入LTS
- 华为HiLens接入LTS
- 设备接入IoTDA接入LTS
- AI开发平台ModelArts接入LTS
- MapReduce服务MRS接入LTS
- 云数据库RDS for MySQL接入LTS
- 云数据库RDS for PostgreSQL接入LTS
- 云数据库RDS for SQLServer接入LTS
- 应用与数据集成平台ROMA Connect接入LTS
- 视频直播Live接入LTS
- 消息通知服务SMN接入LTS
- 安全云脑SecMaster接入LTS
- 对象存储服务OBS接入LTS(邀测)
- 虚拟私有云VPC接入LTS
- Web应用防火墙WAF接入LTS
- 使用API接入LTS
- 使用SDK接入LTS
- 跨IAM账号接入LTS
- 使用KAFKA协议上报日志到LTS
- 使用Flume采集器上报日志到LTS
- 使用匿名写入采集日志
- 自建中间件
- 日志搜索与分析(默认推荐)
- 日志搜索与分析(管道符方式-邀测)
- 日志可视化
- 日志告警
- 日志转储
- 日志消费与加工
- LTS配置中心管理
- 查看LTS审计事件
- 最佳实践
- 开发指南
- API参考
- SDK参考
- 场景代码示例
- 常见问题
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
创建DSL加工任务
DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)。
前提条件
- 已成功采集到日志。
- 对源日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。
创建DSL加工任务
- 登录云日志服务控制台。
- 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。
- 在基本信息页面中,完成如下配置后,然后单击“下一步”。
表1 基本信息参数 参数
说明
任务名称
DSL加工任务的名称。长度范围为1~128个字符,支持字符a-z、A-Z、0-9、_、-
启用状态
默认开启。
创建DSL加工任务,需要您授权LTS创建一个云服务委托。因此当前用户需要具备委托相关的权限。当前用户需要授予IAM服务的以下权限,详细请参考创建自定义策略。
"iam:agencies:updateAgency",
"iam:roles:listRoles",
"iam:tokens:assume",
"iam:agencies:listAgencies",
"iam:agencies:getAgency",
"iam:agencies:createAgency",
"iam:permissions:grantRoleToAgencyOnProject"
源日志流
- 当前账号
- 其他账号
填写委托名称、委托人账号名称,选择日志组和日志流。关于委托信息请参考创建委托。
目标日志流
单击“添加目标日志流”,填写目标日志流名称(目标日志流在数据加工函数中作为入参时的代称),选择日志组和日志流。
加工范围
白名单功能,数据加工的时间范围。选择“某时间开始”或“特定时间范围”可以对历史日志数据进行加工。
- 所有:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。
- 某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。
- 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。
高级配置
对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中。
单击“添加密钥”,填写key值、Value值。
- 在编辑加工语句页面中,参考规则语句样例填写规则语句,单击执行预览。关于加工语法请参考DSL数据加工语法(邀测)。
- 结果预览显示正常,单击“确定”。创建成功后在DSL加工页面生成一条任务明细。
支持将所有加工任务导出全部数据到XLSX。
父主题: DSL加工(邀测)