更新时间:2025-07-28 GMT+08:00

日志转储至DMS

分布式消息服务 DMS提供日志实时处理管道,您可以通过分布式消息服务API实时消费处理日志。

目前此功能仅支持白名单用户提交工单申请使用。详细操作请参考提交工单

前提条件

  • 日志已接入LTS。
  • 已购买DMS。DMS存储独立收费,收费详情请参见:华为云定价
  • 在注册DMS Kafka实例前,需在安全组中,开放入方向规则198.19.128.0/17和9011端口。如果DMS的子网关联了网络ACL,需要放开网络ACL入方向规则,协议为TCP, 入方向规则源地址198.19.128.0/17,端口范围为1-65535,目的地址为全放开,目的端口为9011。

日志转储至DMS

  1. 在云日志服务管理控制台,左侧导航栏中,单击“日志转储”。
  2. 在“日志转储”页面右上角,单击“配置转储”。
  3. 在“配置转储”页面,设置转储日志相关参数。

    表1 配置转储参数说明

    参数名称

    说明

    示例

    日志源

    • 当前账号:对用户所在账号下所产生的日志进行转储。
    • 其他账号:对委托人账号下所产生的日志进行转储,如需转储其他账号日志,需该账号使用者在IAM中创建委托

    当前账号

    委托名称

    当转储其他账号时,需填写委托人在IAM中创建的委托名称。

    -

    委托人账号名称

    当转储其他账号时,需填写委托人的账号名称。

    -

    是否开启转储

    默认开启转储。

    开启

    转储对象

    选择转储的云服务。

    DMS

    日志组名称

    选择已创建的日志组。

    -

    企业项目

    选择已创建的企业项目。

    • 如果当前账号未开通企业项目则不显示该参数。
    • 如果当前账号已开通企业项目,则存在以下情况:
      • 当转储当前账号日志时,下拉框显示当前账号的全部企业项目。
      • 当转储其他账号日志时,若委托账号未开通企业项目,则默认显示“default”。
      • 当转储其他账号日志时,若委托账号已开通企业项目,则显示委托账号的全部企业项目。

    -

    日志流名称

    选择已创建的日志流。

    已配置过DMS转储的日志流不能重复配置。

    -

    Kafka实例

    选择Kafka实例。如果没有可选择的实例,单击“查看Kafka实例”,进入分布式消息服务控制台,创建Kafka实例。

    如果Kafka实例已注册(如果未注册,请注册Kafka实例,操作指导请参见:注册Kafka实例),可以选择修改Kafka实例。

    创建Kafka实例时,设置实例的访问方式:内网访问开启密文接入,“kafka安全协议”选择“SASL_SSL”,设置用户名和密码。同时开启“SASL PLAIN机制”。详细操作请参考购买实例

    -

    Topic

    选择Kafka实例的Topic,如果没有可选择的topic,进入分布式消息服务控制台,在待转储的Kafka实例中的“Topic管理”页面,创建Topic。

    topic-01

    转储格式

    用于配置日志的转储格式,可选择“原始日志格式”和“JSON格式”。

    • 原始日志格式示例:
      云日志服务控制台展示的日志内容的格式为原始日志格式。
      Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)
    • JSON格式示例:
      {"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303}

    RAW

    转储周期

    日志将实时转储至Kafka实例中。

    实时

    用户日志字段

    当转储格式选择JSON时,需要设置该参数。

    开启转储用户日志字段后,支持设置转储原始日志和转储类型。转储类型支持转储所有字段或自定义转储字段。

    • 开启“转储原始日志”,转储message字段,关闭“转储原始日志”,不转储message字段。
    • 转储类型选择“转储所有字段”是转储日志下所有的字段。
    • 转储类型选择“自定义转储字段”是手动配置用户日志字段。
      • 单击“自动配置”,云日志服务LTS会根据近15分钟的第一条日志内容、结构化字段、常见内置保留字段(例如hostIP、hostName、pathFile)自动生成内容,您可以根据自己的需要添加或者删除字段。
      • 单击“添加字段”,在日志字段和表字段的下拉框中,选择您需要转储的字段。
      • 单击操作列下的删除不需要转储的字段。

    -

    LTS内置字段和用户自定义Tag

    当转储格式选择JSON时,需要设置该参数。

    是否开启转储LTS内置字段和用户自定义Tag。开启后,转储类型支持转储所有字段或自定义转储字段。

    • 转储类型选择“转储所有字段”是转储日志下所有的内置字段和用户自定义字段。
    • 转储类型选择“自定义转储字段”是手动配置用户日志字段。
      • 单击“自动配置”,云日志服务会根据近15分钟的第一条日志内容、结构化字段、常见内置保留字段(例如hostIP、hostName、pathFile)自动生成内容,您可以根据自己的需要添加或者删除字段。
      • 单击“添加字段”,在日志字段和表字段的下拉框中,选择您需要转储的字段。
      • 单击操作列下的,删除不需要转储的字段。

    -

    日志流标签字段

    当转储格式选择JSON时,需要设置该参数。

    是否开启转储日志流标签字段。开启后,转储类型支持转储所有字段或自定义转储字段。如何设置标签请参考管理日志流

    • 转储类型选择“转储所有字段”是转储日志下所有的日志流标签字段。
    • 转储类型选择“自定义转储字段”是手动配置用户日志字段。
      • 单击“自动配置”,云日志服务会根据近15分钟的第一条日志内容、结构化字段、常见内置保留字段(例如hostIP、hostName、pathFile)自动生成内容,您可以根据自己的需要添加或者删除字段。
      • 单击“添加字段”,在日志字段和表字段的下拉框中,选择您需要转储的字段。
      • 单击操作列下的,删除不需要转储的字段。

    -

    更多配置

    当转储格式选择JSON时,需要设置该参数。

    若日志中无值与上方配置的键值对应,则会用无效字段填充。

    -

  4. 单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。
  5. 单击“转储对象”列的名称,可跳转到Kafka实例的基本信息页面。

    创建转储任务成功后,支持查看、修改、删除转储任务。

    删除转储任务后,之前已经转储日志将会继续保存在DMS。

    删除转储任务将不再对日志进行转储,且删除后无法恢复,请谨慎操作。

注册Kafka实例

  1. 如果选择Kafka实例未注册,单击“注册”,跳转到注册Kafka实例页面。
  2. 注册Kafka实例相关参数说明。
    表2 参数说明

    参数名称

    说明

    示例

    Kafka实例

    dms实例名称。

    Kafka-01

    打通DMS网络

    打通Kafka实例和LTS服务的网络,用户LTS服务通过该网络发送转储数据。

    -

    用户名

    如果Kafka实例开启了sasl认证,需要输入sasl认证的用户名。

    DMS

    密码

    如果Kafka实例开启了sasl认证,需要输入sasl认证的密码。

    -

  3. 单击“确定”,完成注册Kafka实例。

相关文档

  • 如果在配置日志转储时遇到问题,您可以参考日志转储常见问题获取解决方案。
  • LTS支持通过调用API接口实现创建日志转储、查询日志转储、删除日志转储等,详细请参考日志转储