日志转储至DLI

数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。

基于转储DLI功能，您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中，进行后续的大数据分析工作。

目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用，详细操作请参考提交工单，其他局点暂不支持该功能。

费用说明

日志转储成功后，LTS根据您实际的日志转储量进行收费，转储费用详情请参见LTS价格详情。DWS存储独立收费，费用详情请参见：DLI价格详情。

前提条件

日志已接入云日志服务（LTS）。
日志流已配置结构化规则。
已在DLI中创建数据库和表，创建数据库表时数据位置选择OBS，数据格式选择JSON。详细操作请参见创建数据库和表。
已在DLI中创建队列，该队列将用来将数据导入DLI的表中。详细操作请参见创建队列。

日志转储至DLI

登录云日志服务控制台，进入“日志管理”页面。
在左侧导航栏中选择“日志转储 ”。
在“日志转储”页面中，单击右上角“配置转储”。

在“配置转储”页面中，选择转储对象“DLI集群”，并配置各参数信息。

表1 配置转储参数说明
参数名称	说明	示例
是否开启转储	选择是否开启转储。	开启
转储对象	选择转储的云服务。	DLI集群
日志组名称	选择已创建的日志组。	-
日志流名称	选择已创建的日志流。已配置过DLI集群转储的日志流不能重复配置。	-
DLI-数据库	需要转储的目标DLI数据库名称。更多信息请参见DLI库表管理。	test
DLI-数据表	需要转储的目标DLI数据库表名称。更多信息请参见DLI库表管理。	-
表普通列映射	将内置字段以及日志中配置的结构化字段和类型，映射到数据库表字段。转储类型支持转储所有字段和自定义转储字段。表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。内置字段有13个，分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName。选择“转储所有字段”转储日志下所有的日志流标签字段。选择“自定义转储字段”手动配置用户日志字段。单击“自动配置”，云日志服务会根据采集时预览数据中的第一条日志字段、结构化字段、常见内置保留字段（例如hostIP、hostName、pathFile）自动生成内容，您可以根据自己的需要添加或者删除字段。单击“添加”，在日志字段和表字段的下拉框中，选择您需要转储的字段。单击操作列下的，删除不需要转储的字段。	-
表分区列映射	存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型，映射到数据库表字段。内置字段有13个，分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName 单击，在分区字段和表字段的下拉框中，选择您需要转储的字段。能添加一个表字段。单击操作列下的，删除不需要的转储字段。	-

完成后单击“确定”。
- 创建转储任务成功后，支持查看、修改、删除转储任务。
- 删除转储任务后，之前已经转储日志将会继续保存在DLI。
  
  删除转储任务将不再对日志进行转储，且删除后无法恢复，请谨慎操作。
- 删除单个转储任务。
  1. 单击待删除的转储任务所在行操作列的删除。
  2. 在弹出的“删除转储”页面，单击“确定”，删除转储任务。
- 批量删除转储任务。
  1. 批量勾选待删除的转储任务，单击列表左上方“批量删除”。
  2. 在弹出的“删除转储”页面，单击“确定”，删除所勾选的转储任务。