日志转储至DMS
分布式消息服务 DMS提供日志实时处理管道，您可以通过分布式消息服务API实时消费处理日志。
前提条件
- 日志已接入LTS。
- 已购买DMS。
- 在注册DMS Kafka实例前，需在安全组中，开放入方向规则198.19.128.0/17和9011端口。
日志转储至DMS
- 在云日志服务管理控制台，左侧导航栏中，单击“日志转储”。
- 在“日志转储”页面右上角，单击“配置转储”。
- 在“配置转储”页面，设置转储日志相关参数。
表1 配置转储参数说明 参数名称
说明
示例
日志源
- 当前账号：对用户所在账号下所产生的日志进行转储。
- 其他账号：对委托人账号下所产生的日志进行转储，如需转储其他账号日志，需该账号使用者在IAM中创建委托。
当前账号
委托名称
当转储其他账号时，需填写委托人在IAM中创建的委托名称。
-
委托人账号名称
当转储其他账号时，需填写委托人的账号名称。
-
是否开启转储
默认开启转储。
开启
转储对象
选择转储的云服务。
DMS
日志组名称
选择已创建的日志组。
-
企业项目
选择已创建的企业项目。
- 如果当前账号未开通企业项目则不显示该参数。
- 如果当前账号已开通企业项目，则存在以下情况：
- 当转储当前账号日志时，下拉框显示当前账号的全部企业项目。
- 当转储其他账号日志时，若委托账号未开通企业项目，则默认显示“default”。
- 当转储其他账号日志时，若委托账号已开通企业项目，则显示委托账号的全部企业项目。
-
日志流名称
选择已创建的日志流。
说明：已配置过DMS转储的日志流不能重复配置。
-
Kafka实例
选择Kafka实例。如果没有可选择的实例，单击“查看Kafka实例”，进入分布式消息管理控制台，创建Kafka专享版。
如果Kafka实例已注册（如果未注册，请注册Kafka实例，操作指导请参见：注册Kafka实例），可以选择修改Kafka实例。
说明：创建Kafka实例时，设置实例的访问方式：内网访问开启密文接入，“kafka安全协议”选择“SASL_SSL”，设置用户名和密码。同时开启“SASL PLAIN机制”。详细操作请参考购买实例。
-
Topic
选择Kafka实例的topic，如果没有可选择的topic，进入分布式消息管理控制台，创建专享版Kafka的topic
topic-01
转储格式
用于配置日志的转储格式，可选择“原始日志格式”和“JSON格式”。
- 原始日志格式示例：
- JSON格式示例：
{"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303}
RAW
转储周期
日志将实时转储至Kafka实例中。
实时
用户日志字段
当转储格式选择JSON时，需要设置该参数。
是否开启转储用户日志字段。
选择转储所有字段后将转储日志下所有的字段，选择自定义转储字段后将手动配置用户日志字段。
-
LTS内置字段和用户自定义Tag
当转储格式选择JSON时，需要设置该参数。
是否开启LTS内置字段和用户自定义Tag。
选择转储所有字段后将转储日志下所有的内置字段和用户自定义字段，选择自定义转储字段后将手动配置LTS内置字段和自定义字段。
-
日志流标签字段
当转储格式选择JSON时，需要设置该参数。
是否开启日志流标签字段。开启后，转储类型支持转储所有字段或自定义转储字段。
选择转储所有字段后将转储日志下所有的日志流标签字段，选择自定义转储字段后将手动配置日志流标签字段。如何设置标签请参考管理日志流。
-
更多配置
当转储格式选择JSON时，需要设置该参数。
若日志中无值与上方配置的键值对应，则会用无效字段填充。
-
- 单击“确定”，完成配置。当转储任务状态为“正常”时，表示转储任务创建成功。当选择对其他账号日志进行转储时，被委托人的转储界面，日志组和日志流属于委托人，前端单击日志组名称、日志流名称时，需要通过委托跳转到委托人的日志组、日志流界面。
- 单击“转储对象”列的名称，可跳转到专享版Kafka实例的基本信息页面。
创建转储任务成功后，支持查看、修改、删除转储任务。
- 转储任务一旦删除将不再对日志进行转储，请谨慎操作。
- 删除转储任务后，之前已经转储日志将会继续保存在DMS。
