日志转储至DLI

数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。

基于转储DLI功能，您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中，进行后续的大数据分析工作。

目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用，详细操作请参考提交工单，其他局点暂不支持该功能。

前提条件

日志已接入云日志服务（LTS）。
日志流已配置结构化规则。
已在DLI中创建数据库和表，创建数据库表时数据位置选择OBS，数据格式选择JSON。详细操作请参见创建数据库和表。
已在DLI中创建队列，该队列将用来将数据导入DLI的表中。详细操作请参见创建队列。

日志转储至DLI

登录云日志服务控制台，在左侧导航栏中选择“日志转储 ”。
在“日志转储”页面中，单击右上角“配置转储”。

在“配置转储”页面中，选择转储对象“DLI集群”，并配置各参数信息。

表1 配置转储参数说明
参数名称	说明	示例
是否开启转储	选择是否开启转储。	开启
转储对象	选择转储的云服务。	DLI集群
日志组名称	选择已创建的日志组。	-
企业项目	选择已创建的企业项目。如果当前账号未开通企业项目则不显示该参数。如果当前账号已开通企业项目，则存在以下情况：当转储当前账号日志时，下拉框显示当前账号的全部企业项目。当转储其他账号日志时，若委托账号未开通企业项目，则默认显示“default”。当转储其他账号日志时，若委托账号已开通企业项目，则显示委托账号的全部企业项目。	default
日志流名称	选择已创建的日志流。说明：已配置过DLI集群转储的日志流不能重复配置。	-
DLI-数据库	需要转储的目标DLI数据库名称。更多信息请参见DLI库表管理。	test
DLI-数据表	需要转储的目标DLI数据库表名称。更多信息请参见DLI库表管理。	-
表普通列映射	将内置字段以及日志中配置的结构化字段和类型，映射到数据库表字段。说明：内置字段有13个，分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName。在结构化字段和表字段的下拉框，选择您需要转储的字段。单击操作列下的，删除不需要转储的字段。单击，添加您需要转储的字段。表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。	-
表分区列映射	存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型，映射到数据库表字段。说明：内置字段有13个，分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName 在结构化字段和表字段的下拉框，选择您需要转储的字段。单击操作列下的，删除不需要的转储字段。单击，添加您需要转储的字段，只能添加一个表字段。	-