更新时间:2024-02-21 GMT+08:00
分享

日志转储

概述

日志可以转储至对象存储服务OBS中长期存储。也支持转储至数据接入服务DIS做大数据分析和业务系统二次开发,您可以根据业务场景选择转储类型。

前提条件

  • 已完成日志接入配置。
  • 已创建OBS桶。
  • 已购买DIS。

转储至OBS

  1. 在云日志服务控制台,左侧导航栏中,单击“日志转储”。
  2. 在“日志转储”页面右上角,单击“配置转储”。
  3. 在“配置转储”页面,设置转储日志相关参数。

    表1 配置转储参数说明

    参数名称

    说明

    样例

    日志源

    • 当前账号:对用户所在账号下所产生的日志进行转储。
    • 其他账号:对委托人账号下所产生的日志进行转储,如需转储其他账号日志,需该账号使用者在IAM中创建委托

    当前账号

    转储方式

    日志源选择当前账号时,支持选择周期性转储或一次性转储。

    • 周期性转储:日志将周期性的转储至对象存储服务(OBS)中长期保存。
    • 一次性转储:日志将一次性的转储至对象存储服务(OBS)中长期保存。

    周期性转储

    委托名称

    当转储其他账号时,需填写委托人在IAM中创建的委托名称。

    -

    委托人账号名称

    当转储其他账号时,需填写委托人的账号名称。

    -

    是否开启转储

    默认开启转储。

    开启

    转储对象

    选择转储的云服务。

    OBS

    日志组名称

    选择已创建的日志组。

    -

    企业项目

    选择已创建的企业项目。

    • 如果当前账号未开通企业项目则不显示该参数。
    • 如果当前账号已开通企业项目,则存在以下情况:
      • 当转储当前账号日志时,下拉框显示当前账号的全部企业项目。
      • 当转储其他账号日志时,若委托账号未开通企业项目,则默认显示“default”。
      • 当转储其他账号日志时,若委托账号已开通企业项目,则显示委托账号的全部企业项目。

    -

    日志流名称

    选择已创建的日志流。

    说明:

    已配置过OBS转储的日志流不能重复配置。

    -

    OBS桶

    • 选择已创建的OBS桶。
      • 如果没有可选择的OBS桶,单击“查看OBS”,进入对象存储服务管理控制台,创建OBS桶。
      • 如果OBS桶为加密桶,则需要选择“密钥名称”,并勾选下方的“我同意在KMS创建授权给LTS账号,对转储日志加解密”。
    • LTS目前仅支持存储类别为“标准存储”的OBS桶。
    说明:

    首次配置一次性转储到未授权的OBS桶中时,LTS服务会授权给OBS桶ACL规则,授权生效需要15分钟,如果您第一次配置一次性转储后失败,请15分钟后重试。请谨慎修改桶策略,防止转储失败。

    -

    密钥名称

    对于加密的OBS桶,选择密钥名称。如果没有可选择的密钥,单击“创建密钥并授权”,进入数据加密控制台,创建密钥。

    -

    自定义转储路径

    • 开启:将日志转储至自定义路径中,用于区分不同日志流之间的转储日志文件。
      格式为:/LogTanks/RegionName/自定义转储路径。自定义转储路径默认为lts/%Y/%m/%d,其中%Y代表年,%m代表月,%d代表日,格式需要符合如下规范:
      • “/LogTanks/RegionName”为系统默认路径,不可以修改。
      • 名称只能由英文字母、数字及特殊字符“&”“$”“@”“;”“:”“,”“=”“+”“?”“-”“.”“_”“/”和“%”组成,且“%”后只可跟Y(年)、m(月)、d(日)、H(时)、M(分),在%Y、%m、%d、%H和%M前后可以添加任意长度字符,并且可对其先后顺序进行调换。
      • 自定义转储路径名称不允许为空,长度限制为1~128个字符。

      示例:

      1. 输入LTS-test/%Y/%m/%done/%H/%m,则日志转储路径为:LogTanks/RegionName/LTS-test/Y/m/done/H/m/日志文件名称
      2. 输入LTS-test/%d/%H/%m/%Y,则日志转储路径为:LogTanks/RegionName/LTS-test/d/H/m/Y/日志文件名称
    • 不开启:将日志转储至系统默认路径中。系统默认路径为:LogTanks/RegionName/2019/01/01/日志组/日志流/日志文件名称

    LTS-test/%Y/%m/%done/%H/%m

    日志文件前缀

    转储至OBS桶中的日志文件前缀。

    日志文件前缀需符合如下规范:

    • 名称长度限制为0~64个字符。
    • 名称只能由英文大小写字母、数字、中划线“-”、下划线“_”和小数点“.”组成。

    示例:输入LTS-log,则日志文件名称为:LTS-log_日志文件名称。

    LTS-log

    转储格式

    用于配置日志的转储格式,可选择“原始日志格式”、“Json格式”和ORC。

    • 原始日志格式示例:
      云日志服务控制台展示的日志内容的格式为原始日志格式。
      Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)
    • JSON格式示例:
      {"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303}

    Json

    ORC字段

    转储格式选择ORC时需要设置ORC字段。

    支持自动配置字段或者单击添加,在下拉框选择或输入键值、选择类型。

    • 键:日志字段名称,同一个字段名在ORC字段中只能配置一次,不支持多次使用。
    • 类型:string、boolean、int、long、float、double。

      日志转储过程中,会将云日志服务中的日志字段由string类型转换为ORC目标类型。如果转换到非string类型失败,int/long/float/double类型会置为默认值0。

    -

    无效字段填充

    转储格式选择ORC时支持设置无效字段填充。

    若日志中没有值与上方配置的键值对应,则会用无效字段填充。

    -

    转储周期

    日志自动转储至OBS桶的时间间隔,支持2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。

    3小时

    文件名时区

    日志自动转储至OBS桶时,按照UTC时间生成转储目录及文件名称。

    (UTC)协调世界时间

    是否投递tag

    如主机日志,转储时会增加采集器收集的tag字段。

    • 不开启:不会投递tag。
    • 开启:默认的投递tag有:主机信息(hostIP、hostId、hostName、pathFile、collectTime);kubernetes信息(clusterName、clusterId、nameSpace、podName、appName、containerName)。可选择公共tag有:regionName、projectId、logStreamName、logGroupName。
      说明:

      当开启投递tag后,转储格式必须是JSON格式。

    • 转储标签:开启后,会将日志流标签添加至转储内容。

    开启

    压缩格式

    支持不压缩、gzip和zip格式。

    gzip

  4. 单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。
  5. 单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。

    转储到OBS后的日志,支持从OBS下载到本地进行查看。

    图1 转储至OBS

    转储至OBS的日志支持下载的格式:原始日志、JSON格式。

转储至DIS

  1. 在云日志服务管理控制台,左侧导航栏中,单击“日志转储”。
  2. 在“日志转储”页面右上角,单击“配置转储”。
  3. 在“配置转储”页面,设置转储日志相关参数。

    表2 配置转储参数说明

    参数名称

    说明

    样例

    日志源

    • 当前账号:对用户所在账号下所产生的日志进行转储。
    • 其他账号:对委托人账号下所产生的日志进行转储,如需转储其他账号日志,需该账号使用者在IAM中创建委托

    当前账号

    转储方式

    日志源选择当前账号时,支持选择周期性转储或一次性转储。

    • 周期性转储:日志将周期性的转储至数据接入服务 DIS中保存。
    • 一次性转储:日志将一次性的转储至数据接入服务 DIS中保存。

    周期性转储

    委托名称

    当转储其他账号时,需填写委托人在IAM中创建的委托名称。

    -

    委托人账号名称

    当转储其他账号时,需填写委托人的账号名称。

    -

    是否开启转储

    选择开启转储。

    开启

    转储对象

    选择转储的云服务。

    DIS

    日志组名称

    选择已创建的日志组。

    -

    企业项目

    选择已创建的企业项目。

    • 如果当前账号未开通企业项目则不显示该参数。
    • 如果当前账号已开通企业项目,则存在以下情况:
      • 当转储当前账号日志时,下拉框显示当前账号的全部企业项目。
      • 当转储其他账号日志时,若委托账号未开通企业项目,则默认显示“default”。
      • 当转储其他账号日志时,若委托账号已开通企业项目,则显示委托账号的全部企业项目。

    -

    日志流名称

    选择已创建的日志流。

    说明:

    已配置过DIS转储的日志流不能重复配置。

    -

    通道名称

    选择已创建的DIS通道。如果没有可选择的通道,单击“查看DIS通道”,进入数据接入服务管理控制台,创建接入通道。

    -

    转储格式

    用于配置日志的转储格式,可选择“原始日志格式”和“JSON格式”。

    • 原始日志格式示例:
      云日志服务控制台展示的日志内容的格式为原始日志格式。
      Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)
    • JSON格式示例:
      {"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303}

    JSON

    转储周期

    日志将实时转储至DIS通道中。

    实时

    是否投递tag

    如主机日志,转储时会增加采集器收集的tag字段。

    • 不开启:不会投递tag。
    • 开启:默认的投递tag有:主机信息(hostIP、hostId、hostName、pathFile、collectTime);kubernetes信息(clusterName、clusterId、nameSpace、podName、appName、containerName)。可选择公共tag有:regionName、projectId、logStreamName、logGroupName。
      说明:

      当开启投递tag后,转储格式必须是JSON格式。

    • 转储标签:开启后,会将日志流标签添加至转储内容。

    开启

  4. 单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。当选择对其他账号日志进行转储时,被委托人的转储界面,日志组和流属于委托人,前端点击日志组、流连接时,需要通过委托跳转到委托人的日志组、流界面。
  5. 单击“转储对象”列的DIS通道名称,可以跳转至DIS控制台,查看转储的日志文件。

    转储后的日志,支持下载到本地进行查看。

    当删除该转储任务时,请在数据接入服务(Data Ingestion Service,DIS)中,单击“通道管理”,选择该DIS实例进入实例详情页面。在授权管理中,删除上传权限。

分享:

    相关文档

    相关产品