更新时间:2023-11-29 GMT+08:00

转储至DMS

分布式消息服务 DMS提供日志实时处理管道,您可以通过分布式消息服务API实时消费处理日志。

前提条件

  • 日志已接入LTS。
  • 在注册DMS Kafka实例前,需在安全组中,开放入方向规则198.19.128.0/17和9011端口。

操作步骤

  1. 在云日志服务管理控制台,左侧导航栏中,单击“日志转储”。
  2. 在“日志转储”页面右上角,单击“配置转储”。
    图1 配置转储(DMS)
  3. 在“配置转储”页面,设置转储日志相关参数。
    表1 配置转储参数说明

    参数名称

    说明

    样例

    日志源

    • 当前帐号:对用户所在帐号下所产生的日志进行转储。
    • 其他帐号:对委托人帐号下所产生的日志进行转储,如需转储其他帐号日志,需该帐号使用者在IAM中创建委托

    当前帐号

    委托名称

    当转储其他帐号时,需填写委托人在IAM中创建的委托名称。

    -

    委托人帐号名称

    当转储其他帐号时,需填写委托人的帐号名称。

    -

    是否开启转储

    默认开启转储。

    开启

    转储对象

    选择转储的云服务。

    DMS

    日志组名称

    选择已创建的日志组。

    -

    企业项目

    选择已创建的企业项目。

    • 如果当前帐号未开通企业项目则不显示该参数。
    • 如果当前帐号已开通企业项目,则存在以下情况:
      • 当转储当前帐号日志时,下拉框显示当前帐号的全部企业项目。
      • 当转储其他帐号日志时,若委托帐号未开通企业项目,则默认显示“default”。
      • 当转储其他帐号日志时,若委托帐号已开通企业项目,则显示委托帐号的全部企业项目。

    -

    日志流名称

    选择已创建的日志流。

    说明:

    已配置过DMS转储的日志流不能重复配置。

    -

    Kafka实例

    选择Kafka实例。如果没有可选择的实例,单击“查看Kafka实例”,进入分布式消息管理控制台,创建Kafka专享版。

    如果Kafka实例已注册(如果未注册,请注册Kafka示例,操作指导请参见:注册Kafka实例),可以选择修改Kafka实例。

    -

    Topic

    选择Kafka实例的topic,如果没有可选择的topic,进入分布式消息管理控制台,创建专享版Kafka的topic

    topic-01

    转储格式

    当前只支持“原始日志”格式,示例如下:

    云日志服务控制台展示的日志内容的格式为原始日志格式。
    Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)

    RAW

    转储周期

    日志将实时转储至Kafka实例中。

    实时

    是否投递tag

    如主机日志,转储时会增加采集器收集的tag字段。

    • 不开启:不会投递tag。
    • 开启:默认的投递tag有:主机信息(hostIP、hostId、hostName、pathFile、collectTime);kubernetes信息(clusterName、clusterId、nameSpace、podName、appName、containerName)。可选择公共tag有:regionName、projectId、logStreamName、logGroupName。
    • 转储标签:开启后,会将日志流标签添加至转储内容。

    开启

  4. 单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。当选择对其他帐号日志进行转储时,被委托人的转储界面,日志组和流属于委托人,前端点击日志组、流连接时,需要通过委托跳转到委托人的日志组、流界面。
  5. 单击“转储对象”列的名称,可跳转到专享版Kafka实例的基本信息页面。

注册Kafka实例

  1. 如果选择Kafka实例未注册,单击注册,跳转到注册Kafka实例页面。
  2. 注册Kafka实例相关参数说明。

    参数名称

    说明

    样例

    Kafka实例

    dms实例名称。

    Kafka-01

    打通DMS网络

    打通Kafka实例和LTS服务的网络,用户LTS服务通过该网络发送转储数据。

    -

    用户名

    如果Kafka实例开启了sasl认证,需要输入sasl认证的用户名。

    DMS

    密码

    如果Kafka实例开启了sasl认证,需要输入sasl认证的密码。

    -

  3. 单击“确认”,完成注册Kafka实例。