更新时间:2025-08-19 GMT+08:00
分享

日志转储至DIS

DIS提供丰富的大数据分析能力,可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。
  • 建议您优先使用转储至DMS
  • 目前此功能仅支持华北-北京四、华北-北京一、华东-上海二、华南-广州、中国-香港、亚太-新加坡、华东-上海一局点,其他局点需要给DIS服务提交工单申请开通才能使用。详细操作请参考提交工单

费用说明

日志转储成功后,云日志服务根据您实际的日志转储量进行收费。转储费用详情请参见LTS价格详情

前提条件

  • 日志已接入LTS,详细请参考日志接入
  • 已开通DIS,详细请参考开通DIS通道
  • DIS存储独立收费,收费详情请参见华为云定价
  • 建议您优先使用转储至DMS
  • 目前此功能仅支持华东-上海一、华北-北京四、华北-北京一、华东-上海二、华南-广州、中国-香港、亚太-新加坡局点,其他局点需要给DIS服务提交工单申请开通才能使用。详细操作请参考提交工单

日志转储至DIS

  1. 登录云日志服务控制台,进入“日志管理”页面。
  2. 左侧导航栏中,单击“日志转储”。
  3. 在“日志转储”页面右上角,单击“配置转储”。
  4. 在“配置转储”页面,设置转储日志相关参数。

    表1 配置转储参数说明

    参数名称

    说明

    示例

    日志源

    • 当前账号:对用户所在账号下所产生的日志进行转储。
    • 其他账号:对委托人账号下所产生的日志进行转储,如需转储其他账号日志,需该账号使用者在IAM中创建委托,创建完成后,请记下委托名称和委托人账号名称。

    当前账号

    委托名称

    当转储其他账号时,需填写委托人在IAM中创建的委托名称。

    -

    委托人账号名称

    当转储其他账号时,需填写委托人的账号名称。

    -

    是否开启转储

    选择开启转储。

    开启

    转储对象

    选择转储的云服务。

    DIS

    日志组名称

    选择已创建的日志组。

    -

    日志流名称

    选择已创建的日志流。已配置过DIS转储的日志流不能重复配置。

    -

    通道名称

    选择已创建的DIS通道。如果没有可选择的通道,单击“查看DIS通道”,进入数据接入服务管理控制台,创建接入通道。

    -

    转储格式

    用于配置日志的转储格式,可选择“原始日志格式”和“JSON格式”。

    • 原始日志格式示例:
      云日志服务控制台展示的日志内容的格式为原始日志格式。
      Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)
    • JSON格式示例:
      {"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303}

    JSON

    转储周期

    日志将实时转储至DIS通道中。

    实时

    是否投递tag

    如主机日志,转储时会增加采集器收集的tag字段。

    • 不开启:不会投递tag。
    • 开启:默认的投递tag有:主机信息(hostIP、hostId、hostName、pathFile、collectTime);kubernetes信息(clusterName、clusterId、nameSpace、podName、appName、containerName)。可选择公共tag有:regionName、projectId、logStreamName、logGroupName。当开启投递tag后,转储格式必须是JSON格式。
    • 转储标签:开启后,会将日志流标签添加至转储内容。

    开启

  5. 单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。
  6. 单击“转储对象”列的DIS通道名称,可以跳转至DIS控制台,查看转储的日志文件。

    转储后的日志,支持下载到本地进行查看。

    删除转储任务将不再对日志进行转储,且删除后无法恢复,请谨慎操作。

    • 删除转储任务后,之前已经转储日志将会继续保存在DIS。
    • 当删除该转储任务时,请在数据接入服务(Data Ingestion Service,DIS)中,单击“通道管理”,选择该DIS实例进入实例详情页面。在授权管理中,删除上传权限。
    • 删除单个转储任务。
      1. 单击待删除的转储任务所在行操作列的删除。
      2. 在弹出的“删除转储”页面,单击“确定”,删除转储任务。
    • 批量删除转储任务。
      1. 批量勾选待删除的转储任务,单击列表左上方“批量删除”。
      2. 在弹出的“删除转储”页面,单击“确定”,删除所勾选的转储任务。

相关文档

  • 如果在配置日志转储时遇到问题,您可以参考日志转储常见问题获取解决方案。
  • LTS支持通过调用API接口实现创建日志转储、查询日志转储、删除日志转储等,详细请参考日志转储

相关文档