文档首页 > > 用户指南

日志转储

更新时间: 2020/03/16 GMT+08:00

主机和云服务的日志数据上报至云日志服务后,默认存储时间为7天,可以在1-30天之间进行设置。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至对象存储服务(OBS)或者数据接入服务(DIS)中长期保存。

OBS仅提供日志存储功能;DIS除了提供日志存储能力外,还提供丰富的大数据分析能力,DIS可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。请根据您的业务场景选择OBS或者DIS进行日志转储。

  • OBS和DIS独立收费,收费详情请参见:华为云定价
  • 本地的日志文件定时清空,不会影响转储的日志。

前提条件

  • 已创建日志组和日志流。
  • 已完成ICAgent安装。
  • 已配置日志采集规则。
  • 已购买OBS或者DIS。

创建日志转储(OBS)

  1. 在云日志服务管理控制台,左侧导航栏中,单击“日志转储”。
  2. 在“日志转储”页面右上角,单击“配置转储”。
    图1 配置转储(OBS)
  3. 在“配置转储”页面,设置转储日志相关参数。

    转储任务创建成功后,已绑定的日志组和转储方式不支持修改,其他参数支持修改。

    表1 配置转储参数说明

    参数名称

    说明

    样例

    日志组名称

    选择已创建的日志组。

    -

    日志流名称

    选择已创建的日志流。

    -

    转储方式

    选择转储至OBS或者DIS中。

    OBS

    OBS桶

    选择已创建的OBS桶。如果没有可选择的OBS桶,单击“查看OBS”,进入对象存储服务管理控制台,创建OBS桶。

    -

    自定义转储路径

    • 开启:将日志转储至自定义路径中,用于区分不同日志流之间的转储日志文件。
      格式为:/LogTanks/RegionName/ 自定义转储路径。格式需要符合如下规范:
      • “/LogTanks/RegionName”为系统默认路径,不可以修改。
      • 自定义转储路径名称不允许为空,长度限制为1~64个字符。
      • 名称只能由英文大小写字母、数字、中划线“_”、下划线“-”、小数点“.”和“/”组成。

      示例:输入LTS-test,则日志转储路径为:LogTanks_RegionName_LTS-test_2019_01_01_日志文件名称

    • 不开启:将日志转储至系统默认路径中。系统默认路径为:LogTanks_RegionName_2019_01_01_日志组_日志流_日志文件名称

    LTS-test

    日志文件前缀

    转储至OBS桶中的日志文件前缀。

    日志文件前缀需符合如下规范:

    • 名称长度限制为0~64个字符。
    • 名称只能由英文大小写字母、数字、中划线“_”、下划线“-”和小数点“.”组成。

    示例:输入LTS-log,则日志文件名称为:LTS-log_日志文件名称。

    LTS-log

    转储格式

    用于配置日志的转储格式,可选择“原始日志格式”和“JSON格式”。

    • 原始日志格式示例:
      云日志服务控制台展示的日志内容的格式为原始日志格式。
      Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)
    • JOSN格式示例:
      {"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303}

    JSON

    是否开启转储

    选择开启转储。

    开启

    转储周期

    日志自动转储至OBS桶的时间间隔,支持2分钟、5分钟、30分钟等。

    3小时

  4. 单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。
  5. 单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。

    转储到OBS后的日志,支持从OBS下载到本地进行查看。

创建日志转储(DIS)

  1. 在云日志服务管理控制台,左侧导航栏中,单击“日志转储”。
  2. 在“日志转储”页面右上角,单击“配置转储”。
    图2 配置转储(DIS)
  3. 在“配置转储”页面,设置转储日志相关参数。

    转储任务创建成功后,已绑定的日志组和转储方式不支持修改,其他参数支持修改。

    表2 配置转储参数说明

    参数名称

    说明

    样例

    日志组名称

    选择已创建的日志组。

    -

    日志流名称

    选择已创建的日志流。

    -

    转储方式

    选择转储至OBS或者DIS中。

    DIS

    通道名称

    选择已创建的DIS通道。如果没有可选择的通道,单击“查看DIS通道”,进入数据接入服务管理控制台,创建接入通道。

    -

    转储格式

    用于配置日志的转储格式,可选择“原始日志格式”和“JSON格式”。

    • 原始日志格式示例:
      云日志服务控制台展示的日志内容的格式为原始日志格式。
      Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)
    • JOSN格式示例:
      {"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303}

    JSON

    是否开启转储

    选择开启转储。

    开启

    转储周期

    日志将实时转储至DIS通道中。

    实时

  4. 单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。
  5. 单击“转储对象”列的DIS通道名称,可以跳转至DIS控制台,查看转储的日志文件。

    转储后的日志,支持下载到本地进行查看。

查看转储状态

日志转储任务的转储状态共分为正常、异常、关闭三种状态。

  • 正常:日志转储任务正常进行。
  • 异常:日志转储任务异常,可能是如下原因导致:
    • OBS桶/DIS通道被删除,请您重新指定已创建的OBS桶/DIS通道。
    • OBS桶策略异常,请您在对象存储服务中设置访问控制策略。
  • 关闭:日志转储任务停止。

删除转储任务

如果日志不再需要转储,可以删除转储任务。

  • 转储任务一旦删除将不再对日志进行转储,请谨慎操作。
  • 删除转储任务后,之前已经转储日志将会继续保存。
  1. 在云日志服务管理控制台,单击左侧导航栏“日志转储”。
  2. 在日志转储列表中,单击待删除的日志组所在行的“删除”。

    弹出“删除”对话框。

  3. 单击“确定”,删除转储任务。

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

在文档使用中是否遇到以下问题







请至少选择或填写一项反馈信息

字符长度不能超过200

反馈内容不能为空!

提交反馈 取消