# 日志转储至DLI 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能，您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中，进行后续的大数据分析工作。 ![](https://support.huaweicloud.com/usermanual-lts/public_sys-resources/note_3.0-zh-cn.png) 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用，详细操作请参考[提交工单](https://support.huaweicloud.com/usermanual-ticket/zh-cn_topic_0127038618.html)，其他局点暂不支持该功能。 #### 费用说明 日志转储成功后，LTS根据您实际的日志转储量进行收费，转储费用详情请参见[LTS价格详情](https://www.huaweicloud.com/pricing/calculator.html?tab=detail#/lts)。DLI存储独立收费，费用详情请参见：[DLI价格详情](https://www.huaweicloud.com/pricing/calculator.html?tab=detail#/dli)。 #### 前提条件 - 日志已接入云日志服务（LTS）。 - 日志流已配置结构化规则。 - 已在DLI中创建数据库和表，创建数据库表时数据位置选择OBS，数据格式选择JSON。详细操作请参见[创建数据库和表](https://support.huaweicloud.com/usermanual-dli/dli_01_0005.html)。 - 已在DLI中创建队列，该队列将用来将数据导入DLI的表中。详细操作请参见[创建队列](https://support.huaweicloud.com/usermanual-dli/dli_01_0363.html)。 #### 日志转储至DLI 1. 登录[云日志服务控制台](https://console.huaweicloud.com/lts/?#/cts/manager/groups)，进入"日志管理"页面。 2. 在左侧导航栏中选择"日志转储 "。 3. 在"日志转储"页面中，单击右上角"配置转储"。 4. 在"配置转储"页面中，选择转储对象"DLI集群"，并配置各参数信息。 表1配置转储参数说明 | 参数名称 | 说明 | 示例 | |:---|:---|:---| | 是否开启转储 | 选择是否开启转储。 | 开启 | | 转储对象 | 选择转储的云服务。 | DLI集群 | | 日志组名称 | 选择已创建的日志组。 | - | | 日志流名称 | 选择已创建的日志流。 已配置过DLI集群转储的日志流不能重复配置。 | - | | DLI-数据库 | 需要转储的目标DLI数据库名称。更多信息请参见[DLI库表管理](https://support.huaweicloud.com/usermanual-dli/dli_01_0228.html)。 | test | | DLI-数据表 | 需要转储的目标DLI数据库表名称。更多信息请参见[DLI库表管理](https://support.huaweicloud.com/usermanual-dli/dli_01_0228.html)。 | - | | 表普通列映射 | 将内置字段以及日志中配置的结构化字段和类型，映射到数据库表字段。转储类型支持转储所有字段和自定义转储字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 内置字段有13个，分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName。 - 选择"转储所有字段"转储日志下所有的日志流标签字段。 - 选择"自定义转储字段"手动配置用户日志字段。 - 单击"自动配置"，云日志服务会根据采集时预览数据中的第一条日志字段、结构化字段、常见内置保留字段（例如hostIP、hostName、pathFile）自动生成内容，您可以根据自己的需要添加或者删除字段。 - 单击"添加"，在日志字段和表字段的下拉框中，选择您需要转储的字段。 - 单击操作列下的![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000001706240925.png "点击放大")，删除不需要转储的字段。 | - | | 表分区列映射 | 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型，映射到数据库表字段。 内置字段有13个，分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName - 单击![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000002189893800.png "点击放大")，在分区字段和表字段的下拉框中，选择您需要转储的字段。能添加一个表字段。 - 单击操作列下的![](https://support.huaweicloud.com/usermanual-lts/zh-cn_image_0000001657882270.png "点击放大")，删除不需要的转储字段。 | - | 5. 完成后单击"确定"。 - 创建转储任务成功后，支持查看、修改、删除转储任务。 - 删除转储任务后，之前已经转储日志将会继续保存在DLI。 ![](https://support.huaweicloud.com/usermanual-lts/public_sys-resources/warning_3.0-zh-cn.png) 删除转储任务将不再对日志进行转储，且删除后无法恢复，请谨慎操作。 - 删除单个转储任务。 1. 单击待删除的转储任务所在行操作列的删除。 2. 在弹出的"删除转储"页面，单击"确定"，删除转储任务。 - 批量删除转储任务。 1. 批量勾选待删除的转储任务，单击列表左上方"批量删除"。 2. 在弹出的"删除转储"页面，单击"确定"，删除所勾选的转储任务。 #### 相关文档 - 如果在配置日志转储时遇到问题，您可以参考[日志转储常见问题](https://support.huaweicloud.com/lts_faq/lts_faq_0040.html)获取解决方案。 - LTS支持通过调用API接口实现创建日志转储、查询日志转储、删除日志转储等，详细请参考[日志转储](https://support.huaweicloud.com/api-lts/topic_300000005.html)。