日志转储至DMS
分布式消息服务 DMS提供日志实时处理管道，您可以通过分布式消息服务API实时消费处理日志。
前提条件
日志转储至DMS
- 登录云日志服务控制台，进入“日志管理”页面。
- 左侧导航栏中，单击“日志转储”。
- 在“日志转储”页面右上角，单击“配置转储”。
- 在“配置转储”页面，设置转储日志相关参数。
表1 配置转储参数说明 参数名称
说明
示例
日志源
- 当前账号：对用户所在账号下所产生的日志进行转储。
- 其他账号：对委托人账号下所产生的日志进行转储，如需转储其他账号日志，需该账号使用者在IAM中创建委托。
当前账号
委托名称
当转储其他账号时，需填写委托人在IAM中创建的委托名称。
-
委托人账号名称
当转储其他账号时，需填写委托人的账号名称。
-
是否开启转储
默认开启转储。
开启
转储对象
选择转储的云服务。
DMS
日志组名称
选择已创建的日志组。
-
日志流名称
选择已创建的日志流。
已配置过DMS转储的日志流不能重复配置。
-
Kafka实例
选择Kafka实例。如果没有可选择的实例，单击“查看Kafka实例”，进入分布式消息服务控制台，创建Kafka实例。
如果Kafka实例已注册（如果未注册，请注册Kafka实例，操作指导请参见：注册Kafka实例），可以选择修改Kafka实例。
创建Kafka实例时，设置实例的访问方式：内网访问开启密文接入，“kafka安全协议”选择“SASL_SSL”，设置用户名和密码。同时开启“SASL PLAIN机制”。详细操作请参考购买实例。
若对Kafka实例进行变更操作（例如删除topic或扩缩容节点），可能导致Kafka实例被拉黑，从而无法将数据发送到Kafka实例。建议变更Kafka实例前先删除转储任务。待变更完成后再重新创建转储任务。
-
Topic
选择Kafka实例的Topic，如果没有可选择的topic，进入分布式消息服务控制台，在待转储的Kafka实例中的“Topic管理”页面，创建Topic。
topic-01
转储格式
用于配置日志的转储格式，可选择“原始日志格式”和“JSON格式”。
- 原始日志格式示例：
- JSON格式示例：
{"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303}
RAW
转储周期
日志将实时转储至Kafka实例中。
实时
用户日志字段
当转储格式选择JSON时，需要设置该参数。
开启转储用户日志字段后，支持设置转储原始日志和转储类型。转储类型支持转储所有字段或自定义转储字段。
- 开启“转储原始日志”，转储message字段，关闭“转储原始日志”，不转储message字段。
- 转储类型选择“转储所有字段”是转储日志下所有的字段。
- 转储类型选择“自定义转储字段”是手动配置用户日志字段。
- 单击“自动配置”，云日志服务LTS会根据近15分钟的第一条日志内容、结构化字段、常见内置保留字段（例如hostIP、hostName、pathFile）自动生成内容，您可以根据自己的需要添加或者删除字段。
- 单击“添加字段”，在日志字段和表字段的下拉框中，选择您需要转储的字段。
- 单击操作列下的
删除不需要转储的字段。
-
LTS内置字段和用户自定义Tag
当转储格式选择JSON时，需要设置该参数。
是否开启转储LTS内置字段和用户自定义Tag。开启后，转储类型支持转储所有字段或自定义转储字段。
- 转储类型选择“转储所有字段”是转储日志下所有的内置字段和用户自定义字段。
- 转储类型选择“自定义转储字段”是手动配置用户日志字段。
- 单击“自动配置”，云日志服务会根据近15分钟的第一条日志内容、结构化字段、常见内置保留字段（例如hostIP、hostName、pathFile）自动生成内容，您可以根据自己的需要添加或者删除字段。
- 单击“添加字段”，在日志字段和表字段的下拉框中，选择您需要转储的字段。
- 单击操作列下的
，删除不需要转储的字段。
-
日志流标签字段
当转储格式选择JSON时，需要设置该参数。
是否开启转储日志流标签字段。开启后，转储类型支持转储所有字段或自定义转储字段。如何设置标签请参考管理日志流。
- 转储类型选择“转储所有字段”是转储日志下所有的日志流标签字段。
- 转储类型选择“自定义转储字段”是手动配置用户日志字段。
- 单击“自动配置”，云日志服务会根据近15分钟的第一条日志内容、结构化字段、常见内置保留字段（例如hostIP、hostName、pathFile）自动生成内容，您可以根据自己的需要添加或者删除字段。
- 单击“添加字段”，在日志字段和表字段的下拉框中，选择您需要转储的字段。
- 单击操作列下的
，删除不需要转储的字段。
-
更多配置
当转储格式选择JSON时，需要设置该参数。
若日志中无值与上方配置的键值对应，则会用无效字段填充。
-
- 单击“确定”，完成配置。当转储任务状态为“正常”时，表示转储任务创建成功。
- 单击“转储对象”列的名称，可跳转到Kafka实例的基本信息页面。
- 创建转储任务成功后，支持查看、修改、删除转储任务。
- 删除转储任务后，之前已经转储日志将会继续保存在DMS。
删除转储任务将不再对日志进行转储，且删除后无法恢复，请谨慎操作。
- 删除单个转储任务。
- 单击待删除的转储任务所在行操作列的删除。
- 在弹出的“删除转储”页面，单击“确定”，删除转储任务。
- 批量删除转储任务。
- 批量勾选待删除的转储任务，单击列表左上方“批量删除”。
- 在弹出的“删除转储”页面，单击“确定”，删除所勾选的转储任务。
