添加日志转储
AOM支持将日志转储到对象存储服务(Object Storage Service,简称OBS)的OBS桶中,以便进行长期存储。如果您有更长时间的日志存储需求,可添加日志转储。
AOM提供周期性转储和一次性转储两种转储方式,供您选择使用。
- 周期性转储:将当前日志实时转储到OBS桶中,且以转储周期为粒度对1天的日志进行分割,同一时间段的日志将转储到其对应的日志文件中。
例如,您需长久存储固定维度的日志,就可以选择周期性转储,操作详见添加周期性转储。
- 一次性转储:将历史日志一次性转储到OBS桶的同一个.log日志文件中。
一次性转储类似于“日志搜索”界面的导出功能,“日志搜索”界面最多可导出5000条日志,当日志数量比较多导出功能无法满足需求时,可对指定日志进行一次性转储,操作详见添加一次性转储。
添加周期性转储
下面以als0320a组件为例对其日志进行周期性转储:需实时将als0320a当前新产生的日志实时转储到OBS桶obs-store-test的/home/Periodical Dump目录下,且将每3个小时的日志转储到其对应的日志文件中,可参考如下操作。
- 登录AOM控制台,在左侧导航栏中选择“日志 > 日志转储”。
- 单击右上角的“添加日志转储”,参考表1设置相关参数后,单击“确认”。
表1 周期性转储参数说明 参数
说明
示例
转储文件形式
包括自定义文件和日志桶。
自定义文件
转储方式
包括一次性转储和周期性转储。
周期性转储
筛选条件
可按照日志类型、集群名称、命名空间等多个维度对日志进行筛选,以便将满足条件的日志进行转储。
日志类型选择组件,组件选择als0320a
日志分组名称
待转储日志的逻辑分组,以便以分组为单位对日志进行转储。
说明:转储任务删除后,日志分组也会同时删除。
log-group1
转储周期
对1天的日志以转储周期为粒度进行分割,将每天划分为24小时/转储周期个时间段,同一时间段的日志分别转储到其对应的日志文件中。
例如,转储周期选择3小时,则将每天划分为8个时间段,每天0:00~03:00产生的日志转储到“日志采集日期(格式为YYYY-MM-DD) > 00”路径下对应的日志文件中,每天03:00~06:00产生的日志转储到“日志采集日期(格式为YYYY-MM-DD) > 03”路径下对应的日志文件中,其他时间段以此类推。
3小时
目标OBS桶
存储日志的OBS桶。
说明:您需先创建一个OBS桶。单击“查看OBS”跳转到OBS界面进行创建。
obs-store-test
所属桶目录
OBS桶中存储日志的目录。
/home/Periodical Dump
添加成功后,指定资源当前新产生的日志将会实时转储到OBS桶中。
例如,als0320a当前新产生的日志会实时转储到OBS桶obs-store-test的/home/Periodical Dump目录下,且每3个小时的日志转储到其对应的日志文件中。
周期性转储属于近实时转储,存在分钟级转储时延,时延与日志条数和日志大小有关,具体规格如下:
- 5分钟内累计日志条数大于1000条或日志大小超过2MB时,实时转储。
- 5分钟内累计日志条数小于1000条或日志大小不足2MB时,每5分钟转储。
- 将存储在OBS中的日志文件下载到本地,以供定位问题使用。
- 在周期性转储列表中,单击待操作的OBS桶名称,进入OBS服务的“对象”页面。
- 在“对象”页签下,找到存储在OBS中的日志文件,例如,192.168.0.74_var-paas-sys-log-apm-count_warn.log、192.168.0.74_var-paas-sys-log-apm-debug_erro.trace。
转储到OBS桶中的日志文件路径:日志文件路径与选择的“日志类型”有关,如表2所示。
表2 转储到OBS桶中的日志文件路径 日志类型
日志文件存储路径
组件
所属桶目录 > 日志分组名称 > 集群名称 > 组件名称 > 日志采集日期(格式为YYYY-MM-DD) > 文件编号(格式为0X)
例如,obs-store-test > home > Periodical Dump > log-group1 > zhqtest0112n > als0320a > 2019-03-22> 03。
主机
所属桶目录 > 日志分组名称 > CONFIG_FILE > default_appname >日志采集日期(格式为YYYY-MM-DD) > 文件编号(格式为0X)
系统
所属桶目录 > 日志分组名称 > 集群名称 > 日志采集日期(格式为YYYY-MM-DD) > 文件编号(格式为0X)
转储到OBS桶中的日志文件名称:主机IPV4_日志文件来源(将“/”替换为“-”)_日志文件名称,例如,192.168.0.74_var-paas-sys-log-apm-count_warn.log、192.168.0.74_var-paas-sys-log-apm-debug_erro.trace。
- 选中待下载的日志文件,单击右侧的“下载”,日志文件将下载到浏览器默认下载路径,如需要将日志文件保存到自定义路径下,请单击右侧的“下载为”。
添加一次性转储
下面以als0320a为例对其日志进行一次性转储:将als0320a近30分钟且包含关键词warn的历史日志,一次性转储到OBS桶obs-store-test的/home/One-off Dump目录下,可参考如下操作。
- 登录AOM控制台,在左侧导航栏中选择“日志 > 日志转储”。
- 单击右上角的“添加日志转储”,参考表3设置相关参数后,单击“确认”。
表3 一次性转储参数说明 参数
说明
示例
转储文件形式
包括自定义文件和日志桶。
自定义文件
转储方式
包括一次性转储和周期性转储。
一次性转储
筛选条件
可按照日志采集时间、日志类型、命名空间等多个维度对日志进行筛选,以便对满足筛选条件的日志进行转储。
日志采集时间选择30分钟,组件选择als0320a,关键词设置为warn。
日志分组名称
待转储日志的逻辑分组,以便以分组为单位对日志进行转储。
说明:转储任务删除后,日志分组也会同时删除。
log-group2
目标OBS桶
存储日志的OBS桶。
说明:- 如果没有创建过OBS桶,请单击“查看OBS”跳转到OBS界面进行创建。
- 首次配置一次性转储到未授权的OBS桶中时,AOM服务会授权给OBS桶ACL规则,授权生效需要15分钟,如果您第一次配置一次性转储后失败,请15分钟后重试。
obs-store-test
所属桶目录
OBS桶中存储日志的目录。
说明:如果不配置,则日志默认存储在OBS桶的根目录下。
/home/One-off Dump
添加成功后,待“转储状态”变为“转储完成”时,符合条件的历史日志会一次性转储到OBS桶的同一个.log日志文件中。
例如,als0320a近30分钟且包含关键词warn的历史日志会一次性转储到OBS桶obs-store-test的/home/One-off Dump目录下的log-group2_shard_0(custom).log日志文件中。
- 将存储在OBS中的日志文件下载到本地,以供定位问题使用。
- 在一次性转储列表中,单击待操作的OBS桶名称,进入OBS服务的“对象”页面。
- 在“对象”页签下,找到存储在OBS中的日志文件,例如:/home/One-off Dump/log-group2_shard_0(custom).log。
转储到OBS桶中的日志文件路径:OBS桶 > 所属桶目录。例如,obs-store-test/home/One-off Dump。
转储到OBS桶中的日志文件名称:日志文件名称与选择的“转储文件形式”有关,命名格式为:日志分组名称_shard_0(custom),例如:log-group2_shard_0(custom).log。
- 选中待下载的日志文件,单击右侧的“下载”,日志文件将下载到浏览器默认下载路径,如需要将日志文件保存到自定义路径下,请单击右侧的“下载为”。