更新时间:2024-07-31 GMT+08:00
分享

添加日志转储

AOM支持将日志转储到对象存储服务(Object Storage Service,简称OBS)的OBS桶中,以便进行长期存储。如果您有更长时间的日志存储需求,可添加日志转储。

AOM提供周期性转储和一次性转储两种转储方式,供您选择使用。

  • 周期性转储:将当前日志实时转储到OBS桶中,且以转储周期为粒度对1天的日志进行分割。

    例如,您需长久存储固定维度的日志,就可以选择周期性转储,操作详见添加周期性转储

  • 一次性转储:将历史日志一次性转储到OBS桶的同一个.log日志文件中。

    一次性转储类似于“日志搜索”界面的导出功能,“日志搜索”界面最多可导出5000条日志,当日志数量比较多导出功能无法满足需求时,可对指定日志进行一次性转储,操作详见添加一次性转储

  • 添加日志转储时,除需拥有AOM和LTS使用权限外,还需要拥有OBS Administrator权限。
  • 如果需要周期性转储日志,推荐使用LTS的日志转储功能将当前日志实时转储到OBS桶中长期保存。

添加周期性转储

下面以als0320a组件为例对其日志进行周期性转储:需实时将als0320a当前新产生的日志实时转储到OBS桶obs-store-test的/home/Periodical Dump目录下,且将每3个小时的日志转储到其对应的日志文件中,可参考如下操作。

  1. 登录AOM 2.0控制台。
  2. 在左侧导航栏中选择“日志分析 > 日志转储”。

    使用日志分析(新版)功能的区域可以通过表2中描述的入口进入“日志转储”页面。

  3. 单击右上角的“添加日志转储”,参考表1设置相关参数后,单击“确定”。

    表1 周期性转储参数说明

    参数

    说明

    示例

    转储方式

    请选择周期性转储。

    周期性转储

    筛选条件

    可按照日志类型、集群名称、命名空间等多个维度对日志进行筛选,以便将满足条件的日志进行转储。

    日志类型选择组件,组件选择als0320a

    日志分组名称

    待转储日志的逻辑分组,以便以分组为单位对日志进行转储。

    log-group1

    转储周期

    对1天的日志以转储周期为粒度进行分割,将每天划分为24小时/转储周期个时间段,同一时间段的日志分别转储到其对应的日志文件中。

    例如,转储周期选择3小时,则将每天划分为8个时间段,每天0:00~03:00产生的日志转储到“日志采集日期(格式为YYYY-MM-DD) > 00”路径下对应的日志文件中,每天03:00~06:00产生的日志转储到“日志采集日期(格式为YYYY-MM-DD) > 03”路径下对应的日志文件中,其他时间段以此类推。

    3小时

    目标OBS桶

    存储日志的OBS桶。

    说明:

    您需先创建一个OBS桶。单击“查看OBS”跳转到OBS界面进行创建。

    obs-store-test

    所属桶目录

    OBS桶中存储日志的目录。

    /home/Periodical Dump

    添加成功后,指定资源当前新产生的日志将会实时转储到OBS桶中。

    例如,als0320a当前新产生的日志会实时转储到OBS桶obs-store-test的/home/Periodical Dump目录下,且每3个小时的日志转储到其对应的日志文件中。

    周期性转储属于近实时转储,存在分钟级转储时延,时延与日志条数和日志大小有关,具体规格如下:

    • 5分钟内累计日志条数大于1000条或日志大小超过2MB时,实时转储。
    • 5分钟内累计日志条数小于1000条或日志大小不足2MB时,每5分钟转储。

  4. 将存储在OBS中的日志文件下载到本地,以供定位问题使用。

    1. 在周期性转储列表中,单击待操作的OBS桶名称,进入OBS服务的“对象”页面。
    2. 在“对象”页签下,找到存储在OBS中的日志文件,例如,192.168.0.74_var-paas-sys-log-apm-count_warn.log、192.168.0.74_var-paas-sys-log-apm-debug_erro.trace。
      转储到OBS桶中的日志文件路径:日志文件路径与选择的“日志类型”有关,如下表所示。
      表2 转储到OBS桶中的日志文件路径

      日志类型

      日志文件存储路径

      组件

      所属桶目录 > 日志分组名称 > 集群名称 > 组件名称 > 日志采集日期(格式为YYYY-MM-DD) > 文件编号(格式为0X)

      例如,obs-store-test > home > Periodical Dump > log-group1 > zhqtest0112n > als0320a > 2019-03-22 > 03。

      主机

      所属桶目录 > 日志分组名称 > CONFIG_FILE > default_appname >日志采集日期(格式为YYYY-MM-DD) > 文件编号(格式为0X)。

      系统

      所属桶目录 > 日志分组名称 > 集群名称 > 日志采集日期(格式为YYYY-MM-DD) > 文件编号(格式为0X)。

      转储到OBS桶中的日志文件名称:主机IPV4_日志文件来源(将“/”替换为“-”)_日志文件名称,例如,192.168.0.74_var-paas-sys-log-apm-count_warn.log、192.168.0.74_var-paas-sys-log-apm-debug_erro.trace。

    3. 选中待下载的日志文件,单击右侧的“下载”,日志文件将下载到浏览器默认下载路径,如需要将日志文件保存到自定义路径下,请单击右侧的“更多 > 下载为”。

添加一次性转储

下面以als0320a为例对其日志进行一次性转储:将als0320a近30分钟且包含关键词warn的历史日志,一次性转储到OBS桶obs-store-test的/home/One-off Dump目录下,可参考如下操作。

  1. 登录AOM 2.0控制台。
  2. 在左侧导航栏中选择“日志分析 > 日志转储”。

    使用日志分析(新版)功能的区域可以通过表2中描述的入口进入“日志转储”页面。

  3. 单击右上角的“添加日志转储”,参考表3设置相关参数后,单击“确定”。

    表3 一次性转储参数说明

    参数

    说明

    示例

    转储方式

    请选择一次性转储。

    一次性转储

    筛选条件

    可按照日志采集时间、集群名称、命名空间等多个维度对日志进行筛选,以便对满足筛选条件的日志进行转储。

    日志采集时间选择30分钟,组件选择als0320a,关键词设置为warn。

    日志分组名称

    待转储日志的逻辑分组,以便以分组为单位对日志进行转储。

    说明:

    转储任务删除后,日志分组也会同时删除。

    log-group2

    目标OBS桶

    存储日志的OBS桶。

    说明:
    • 如果没有创建过OBS桶,请单击“查看OBS”跳转到OBS界面进行创建。
    • 首次配置一次性转储到未授权的OBS桶中时,AOM服务会授权给OBS桶ACL规则,授权生效需要15分钟,如果您第一次配置一次性转储后失败,请15分钟后重试。
    • 不支持转储到存储类型为归档存储或配置了跨区域复制的OBS桶。

    obs-store-test

    所属桶目录

    OBS桶中存储日志的目录。

    说明:

    如果不配置,则日志默认存储在OBS桶的根目录下。

    /home/One-off Dump

    添加成功后,待“转储状态”变为“转储完成”时,符合条件的历史日志会一次性转储到OBS桶的同一个.log日志文件中。

    例如,als0320a近30分钟且包含关键词warn的历史日志会一次性转储到OBS桶obs-store-test的/home/One-off Dump目录下的log-group2_shard_0(custom).log日志文件中。

  4. 将存储在OBS中的日志文件下载到本地,以供定位问题使用。

    1. 在一次性转储列表中,单击待操作的OBS桶名称,进入OBS服务的“对象”页面。
    2. 在“对象”页签下,找到存储在OBS中的日志文件,例如:/home/One-off Dump/log-group2_shard_0(custom).log。

      转储到OBS桶中的日志文件路径:OBS桶 > 所属桶目录。例如,obs-store-test/home/One-off Dump。

      转储到OBS桶中的日志文件名称:日志文件名称与选择的“转储文件形式”有关,如下表所示。
      表4 转储到OBS桶中的日志文件名称

      日志文件名称

      • 日志分组名称_shard_0(custom),例如:log-group2_shard_0(custom).log。
      • 日志分组名称_shard_1(custom)。
    3. 选中待下载的日志文件,单击右侧的“下载”,日志文件将下载到浏览器默认下载路径,如需要将日志文件保存到自定义路径下,请单击右侧的“更多 > 下载为”。

相关文档