# 日志转储至DMS 分布式消息服务 DMS提供日志实时处理管道，您可以通过分布式消息服务API实时消费处理日志。 ![](https://support.huaweicloud.com/usermanual-lts/public_sys-resources/note_3.0-zh-cn.png) 目前此功能仅支持白名单用户提交工单申请使用。详细操作请参考[提交工单](https://support.huaweicloud.com/usermanual-ticket/zh-cn_topic_0127038618.html)。 #### 费用说明 日志转储成功后，LTS根据您实际的日志转储量进行收费，转储费用详情请参见[LTS价格详情](https://www.huaweicloud.com/pricing/calculator.html?tab=detail#/lts)。DMS存储独立收费，费用详情请参见：[DMS价格详情](https://www.huaweicloud.com/pricing/calculator.html?tab=detail#/kafka)。 #### 前提条件 - 日志已接入LTS。 - 已[购买DMS](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180604013.html)。 - 在注册DMS Kafka实例前，需在安全组中，开放[入方向规则](https://support.huaweicloud.com/usermanual-vpc/zh-cn_topic_0030969470.html)198.19.128.0/17和9011端口。如果DMS的子网关联了网络ACL，需要放开网络ACL入方向规则，协议为TCP， 入方向规则源地址198.19.128.0/17，端口范围为1-65535，目的地址为全放开，目的端口为9011。 #### 日志转储至DMS 1. 登录[云日志服务控制台](https://console.huaweicloud.com/lts/?#/cts/manager/groups)，进入"日志管理"页面。 2. 左侧导航栏中，单击"日志转储"。 3. 在"日志转储"页面右上角，单击"配置转储"。 4. 在"配置转储"页面，设置转储日志相关参数。 表1配置转储参数说明 | 参数名称 | 说明 | 示例 | |:---|:---|:---| | 日志源 | - **当前账号**：对用户所在账号下所产生的日志进行转储。 - **其他账号** ：对委托人账号下所产生的日志进行转储，如需转储其他账号日志，需该账号使用者在IAM中[创建委托](https://support.huaweicloud.com/usermanual-iam/iam_06_0002.html)。 | 当前账号 | | 委托名称 | 当转储其他账号时，需填写委托人在IAM中创建的委托名称。 | - | | 委托人账号名称 | 当转储其他账号时，需填写委托人的账号名称。 | - | | 是否开启转储 | 默认开启转储。 | 开启 | | 转储对象 | 选择转储的云服务。 | DMS | | 日志组名称 | 选择已创建的日志组。 | - | | 日志流名称 | 选择已创建的日志流。 已配置过DMS转储的日志流不能重复配置。 | - | | Kafka实例 | 选择Kafka实例。如果没有可选择的实例，单击"查看Kafka实例"，进入分布式消息服务控制台，创建Kafka实例。 如果Kafka实例已注册（如果未注册，请注册Kafka实例，操作指导请参见：[注册Kafka实例]），可以选择修改Kafka实例。 创建Kafka实例时，设置实例的访问方式：内网访问开启密文接入，"kafka安全协议"选择"SASL_SSL"，设置用户名和密码。同时开启"SASL PLAIN机制"。详细操作请参考[购买实例](https://support.huaweicloud.com/usermanual-kafka/kafka-ug-180604013.html)。 若对Kafka实例进行变更操作（例如删除topic或扩缩容节点），可能导致Kafka实例被拉黑，从而无法将数据发送到Kafka实例。建议变更Kafka实例前先删除转储任务。待变更完成后再重新创建转储任务。 | - | | Topic | 选择Kafka实例的Topic，如果没有可选择的topic，进入分布式消息服务控制台，在待转储的Kafka实例中的"Topic管理"页面，创建Topic。 | topic-01 | | 转储格式 | 用于配置日志的转储格式，可选择"原始日志格式"和"JSON格式"。 - 原始日志格式示例： 云日志服务控制台展示的日志内容的格式为原始日志格式。 ``` Sep 30 07:30:01 ecs-bd70 CRON[3459]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1) ``` - JSON格式示例： ``` {"host_name":"ecs-bd70","ip":"192.168.0.54","line_no":249,"message":"Sep 30 14:40:01 ecs-bd70 CRON[4363]: (root) CMD (/opt/oss/servicemgr/ICAgent/bin/manual/mstart.sh > /dev/null 2>&1)\n","path":"/var/log/syslog","time":1569825602303} ``` | 原始日志格式 | | 转储周期 | 日志将实时转储至Kafka实例中。 | 实时 | | 用户日志字段 | 当转储格式选择JSON时，需要设置该参数。 ![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002598386519.png "点击放大") - 是否开启转储：开启用户日志字段转储按钮，需要配置转储原始日志和转储类型。 - 转储原始日志：开启"转储原始日志"，可转储content字段；关闭"转储原始日志"，不转储content字段。 - 转储类型：当转储类型选择"转储所有字段"时，转储所有的日志字段及日志内容。当转储类型选择"自定义转储字段"时，手动配置用户日志字段，可转储已手动配置的日志字段及日志内容。 - 单击"自动配置"，云日志服务LTS会根据近15分钟的第一条日志内容、结构化字段、常见内置保留字段（例如hostIP、hostName、pathFile）自动生成内容，您可以根据自己的需要添加或者删除字段。 - 单击"添加字段"，在日志字段和表字段的下拉框中，选择您需要转储的字段。 - 单击操作列下的![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002298450982.png "点击放大")删除不需要转储的字段。 | - | | LTS内置字段和用户自定义Tag | 当转储格式选择JSON时，需要设置该参数。 是否开启转储LTS内置字段和用户自定义Tag。开启后，转储类型支持转储所有字段或自定义转储字段。 - 转储类型选择"转储所有字段"是转储日志下所有的内置字段和用户自定义字段。 - 转储类型选择"自定义转储字段"是手动配置用户日志字段。 - 单击"自动配置"，云日志服务会根据近15分钟的第一条日志内容、结构化字段、常见内置保留字段（例如hostIP、hostName、pathFile）自动生成内容，您可以根据自己的需要添加或者删除字段。 - 单击"添加字段"，在日志字段和表字段的下拉框中，选择您需要转储的字段。 - 单击操作列下的![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002332450381.png "点击放大")，删除不需要转储的字段。 | - | | 日志流标签字段 | 当转储格式选择JSON时，需要设置该参数。 是否开启转储日志流标签字段。开启后，转储类型支持转储所有字段或自定义转储字段。如何设置标签请参考[管理日志流](https://support.huaweicloud.com/usermanual-lts/lts_04_0004.html)。 - 转储类型选择"转储所有字段"是转储日志下所有的日志流标签字段。 - 转储类型选择"自定义转储字段"是手动配置用户日志字段。 - 单击"自动配置"，云日志服务会根据近15分钟的第一条日志内容、结构化字段、常见内置保留字段（例如hostIP、hostName、pathFile）自动生成内容，您可以根据自己的需要添加或者删除字段。 - 单击"添加字段"，在日志字段和表字段的下拉框中，选择您需要转储的字段。 - 单击操作列下的![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002298610646.png "点击放大")，删除不需要转储的字段。 | - | | 更多配置 | 当转储格式选择JSON时，需要设置该参数。 若日志中无值与上方配置的键值对应，则会用无效字段填充。 | - | 5. 单击"确定"，完成配置。当转储任务状态为"正常"时，表示转储任务创建成功。 6. 单击"转储对象"列的名称，可跳转到Kafka实例的基本信息页面。 - 创建转储任务成功后，支持查看、修改、删除转储任务。 - 删除转储任务后，之前已经转储日志将会继续保存在DMS。 ![](https://support.huaweicloud.com/usermanual-lts/public_sys-resources/warning_3.0-zh-cn.png) 删除转储任务将不再对日志进行转储，且删除后无法恢复，请谨慎操作。 - 删除单个转储任务。 1. 单击待删除的转储任务所在行操作列的删除。 2. 在弹出的"删除转储"页面，单击"确定"，删除转储任务。 - 批量删除转储任务。 1. 批量勾选待删除的转储任务，单击列表左上方"批量删除"。 2. 在弹出的"删除转储"页面，单击"确定"，删除所勾选的转储任务。 #### 注册Kafka实例 1. 如果选择Kafka实例未注册，单击"注册"，跳转到注册Kafka实例页面。 2. 注册Kafka实例相关参数说明。 表2参数说明 | 参数名称 | 说明 | 示例 | |:---|:---|:---| | Kafka实例 | dms实例名称。 | Kafka-01 | | 打通DMS网络 | 打通Kafka实例和LTS服务的网络，用户LTS服务通过该网络发送转储数据。 | - | | 用户名 | 如果Kafka实例开启了sasl认证，需要输入sasl认证的用户名。 | DMS | | 密码 | 如果Kafka实例开启了sasl认证，需要输入sasl认证的密码。 | - | 3. 单击"确定"，完成注册Kafka实例。 #### 相关文档 - 如果在配置日志转储时遇到问题，您可以参考[日志转储常见问题](https://support.huaweicloud.com/lts_faq/lts_faq_0040.html)获取解决方案。 - LTS支持通过调用API接口实现创建日志转储、查询日志转储、删除日志转储等，详细请参考[日志转储](https://support.huaweicloud.com/api-lts/topic_300000005.html)。