- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 授权IAM用户使用云日志服务LTS
- 购买LTS资源包
- 日志管理
-
日志接入
- 日志接入概述
- 使用ICAgent插件采集日志
-
使用云服务接入LTS
- 云服务接入LTS概述
- 应用运维管理AOM接入LTS
- API网关APIG接入LTS
- Astro轻应用接入LTS
- 云堡垒机CBH接入LTS
- 内容分发网络CDN接入LTS
- 云防火墙CFW接入LTS
- 云审计服务CTS接入LTS
- 分布式缓存服务DCS接入LTS
- 文档数据库服务DDS接入LTS
- DDoS防护 AAD接入LTS
- 分布式消息服务Kafka版接入LTS
- 数据复制服务DRS接入LTS
- 数据仓库服务GaussDB(DWS)接入LTS
- 弹性负载均衡 ELB接入LTS
- 企业路由器ER接入LTS
- 函数工作流FunctionGraph接入LTS
- 云数据库GaussDB接入LTS
- 图引擎服务GES接入LTS
- 云数据库 TaurusDB接入LTS
- 云数据库GeminiDB接入LTS
- 云数据库GeminiDB Mongo接入LTS
- 云数据库GeminiDB Cassandra接入LTS
- 华为HiLens接入LTS
- 设备接入IoTDA接入LTS
- AI开发平台ModelArts接入LTS
- MapReduce服务MRS接入LTS
- 云数据库RDS for MySQL接入LTS
- 云数据库RDS for PostgreSQL接入LTS
- 云数据库RDS for SQLServer接入LTS
- 应用与数据集成平台ROMA Connect接入LTS
- 视频直播Live接入LTS
- 消息通知服务SMN接入LTS
- 安全云脑SecMaster接入LTS
- 对象存储服务OBS接入LTS(邀测)
- 虚拟私有云VPC接入LTS
- Web应用防火墙WAF接入LTS
- 使用API接入LTS
- 使用SDK接入LTS
- 跨IAM账号接入LTS
- 使用KAFKA协议上报日志到LTS
- 使用Flume采集器上报日志到LTS
- 使用匿名写入采集日志
- 自建中间件
- 日志搜索与分析(默认推荐)
- 日志搜索与分析(管道符方式-邀测)
- 日志可视化
- 日志告警
- 日志转储
- 日志消费与加工
- LTS配置中心管理
- 查看LTS审计事件
- 最佳实践
- 开发指南
- API参考
- SDK参考
- 场景代码示例
- 常见问题
- 视频帮助
- 文档下载
- 通用参考
展开导读
链接复制成功!
对象存储服务OBS接入LTS(邀测)
支持将对象存储服务桶内的文件一次性或定期导入到云日志服务,OBS服务接入LTS成功后,即可对日志进行搜索分析、日志加工等操作。加密桶的文件不支持导入LTS,若需要导入加密桶的文件,请先删除桶的加密配置,详细请参考删除桶的加密配置。
该功能仅支持华北-北京四、华南-广州的白名单用户,如有需要,请提交工单,其他区域暂不支持申请开通。
设置单个对象存储OBS接入LTS
- 登录云日志服务控制台。
- 在左侧导航栏中,选择“接入 > 接入中心”,单击“云服务接入-对象存储OBS”进行OBS接入配置。
或在左侧导航栏中,选择“接入 > 接入管理 > 接入日志”,单击“云服务接入-对象存储OBS”进行OBS接入配置。
或在左侧导航栏中,选择“日志管理”,单击目标日志流的名称进入日志详情页面。单击右上角
,在弹出页面中,选择“日志接入”页签,单击“接入日志”,在弹出页面中,单击“云服务接入-对象存储OBS”进行OBS接入配置。
- 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组。若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。详细请参考管理日志组。
- 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流。若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。详细请参考管理日志流。
- 单击“下一步:采集配置”。
- 在采集配置页面,参考表1设置参数。
表1 采集配置 参数类型
名称
说明
基本配置
采集配置名称
自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。
任务监控
默认开启。
开启后会将每次任务执行状态写入日志流 lts-system/lts-obs2lts-statistics,您可以查看OBS文件导入LTS任务监控中心或者配置告警规则,及时发现数据导入过程中可能出现的异常问题。
OBS数据源配置
OBS桶
选择需要导入日志文件到LTS的OBS桶。
文件夹前缀
输入待导入的OBS文件前缀,用于准确定位待导入的文件,支持输入文件前缀your_prefix/或完整路径your_prefix/file.gz(只支持导入5GB以内的原始文件)。
文件正则过滤
用于过滤文件的正则表达式,只有文件名匹配该正则表达式的文件才会被导入。若不填写正则表达式,表示不过滤文件。
假设目录下有aab和aba文件:
- 只匹配aab文件,正则写法:aab或aa或^aab或者aa.
- 只匹配aba文件,正则写法:aba或^aba或者^ab,不能写ab因为这样aab也是能匹配上的
- 匹配aab和aba,正则写法:ab或者a.*
- 如果存在正则关键字的字符需要转义,例如{}则需要要转义为\{\}
压缩格式
支持自动检测、不压缩、压缩gzip、压缩zip、压缩snappy。如果是zip压缩文件,只能包含一个文件,不能有任何文件夹。
导入间隔
- 一次性:只导入一次,云日志服务不会检测新出现的文件。
- 固定间隔:设置固定时间导入文件,云日志服务会检测新出现的文件,并导入云日志服务。
开启“解冻归档文件”:只支持解冻对象存储类别为归档存储的OBS文件。归档存储文件需要激活此选项,归档存储文件激活需要一定时间(归档存储文件加急恢复典型值在1~5分钟,详情请参考对象恢复方式及耗时)。首次单击右下角的“预览”可能超时,请再次重试单击“预览”。
- 周期任务首次开始扫描obs上文件,文件的最后修改时间区间范围是(周期首次运行时间-固定间隔时间,周期首次运行时间]。例如周期任务首次开始12:00:00,obs导入任务配置的固定时间间隔为10分钟,那么首次扫描出来的obs文件其最后修改时间在(11:50:00, 12:00:00]区间内,第二次周期12:10:00运行,则扫描出来的文件其最后修改时间在(12:00:00, 12:10:00]区间内。
- 一次性任务如果处理某个文件失败后,扫描出来的其余文件不会再被解析上报到LTS。
- 固定间隔任务关闭后重新开启,监控数据连续性最多保持一天。
- 固定间隔任务在某个周期时间内处理文件失败后,该周期时间内扫描出来的其余文件不会再被解析上报到LTS。
数据格式配置
日志文件编码
日志文件编码支持UTF-8、GBK。
UTF-8编码是一种变长编码方式,用于表示Unicode字符集。GBK全称《汉字内码扩展规范》,中文计算机编码的一种,是ASCII码和GB2312编码的扩展。
提取模式
根据日志类型选择提取模式,提取OBS日志超过1MB的部分会被截断丢弃。
- 单行日志单行超过1MB的部分被截断丢弃。
- 多行日志多行块超过1MB的部分被截断丢弃。
- ORC和JSON格式日志是单行解析,如果单行日志超过1MB直接被丢弃。
- 单行全文:采集完整的单行日志全文,不做结构化解析。如果您需要对日志做结构化解析,请在完成OBS文件导入配置后,请参考设置云端结构化解析日志设置。
- 多行全文:采集完整的多行日志全文(如堆栈日志),不做结构化解析。如果您需要对日志做结构化解析,请在完成OBS文件导入配置后,请参考设置云端结构化解析日志设置。
- ORC:采集ORC格式的日志。
开启“自定义时间”时,可指定某一字段作为日志时间。填写时间字段Key名称、字段Value、时间格式,设置完成后,单击
校验。如果导入的数据写入到css集群,LTS不支持ORC格式日志自定义两天前的时间。自定义时间格式请参考Oracle官网的时间匹配字符。
- JSON:采集JSON格式的日志。
开启“自定义时间”时,可指定某一字段作为日志时间。填写时间字段Key名称、字段Value、时间格式,设置完成后,单击
校验。如果导入的数据写入到css集群,LTS不支持JSON格式日志自定义两天前的时间。自定义时间格式请参考Oracle官网的时间匹配字符。
设置json解析层数,取值范围为1~4,只能整数,默认值为1。将json格式日志的字段展开,例如原始日志为{"key1":{"key2":"value"}},解析1层日志为:{"key1":{"key2":"value"}},解析2层日志为:{"key1.key2":"value"}。
- 设置完成后,单击右下角的“预览”。预览只扫描并返回符合条件的第一个文件的前10行内容。
- 在结果预览下方查看结果,确认无误后,单击“提交”。
- 接入成功后,则会生成一条接入配置信息。邀测期间,最多支持创建10个接入任务。
- 单击接入配置名称可进入详情页面,查看该接入配置详细信息。
- 单击接入配置操作列的“修改”重新修改接入配置信息。不支持修改导入间隔为一次性的任务。
- 单击接入配置操作列的“标签管理”即可添加标签。
- 单击接入配置操作列的“复制”复制一条新的接入配置信息。
- 单击接入配置操作列的“删除”即可删除接入配置信息。
- 单击所属日志流的名称进入日志流详情页,即可对接入LTS的日志进行日志搜索分析。详细请参考日志搜索与分析(默认推荐)。