- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 授权IAM用户使用云日志服务LTS
- 购买LTS资源包
- 日志管理
-
日志接入
- 日志接入概述
- 使用ICAgent插件采集日志
-
使用云服务接入LTS
- 云服务接入LTS概述
- 应用运维管理AOM接入LTS
- API网关APIG接入LTS
- Astro轻应用接入LTS
- 云堡垒机CBH接入LTS
- 内容分发网络CDN接入LTS
- 云防火墙CFW接入LTS
- 云审计服务CTS接入LTS
- 分布式缓存服务DCS接入LTS
- 文档数据库服务DDS接入LTS
- DDoS防护 AAD接入LTS
- 分布式消息服务Kafka版接入LTS
- 数据复制服务DRS接入LTS
- 数据仓库服务GaussDB(DWS)接入LTS
- 弹性负载均衡 ELB接入LTS
- 企业路由器ER接入LTS
- 函数工作流FunctionGraph接入LTS
- 云数据库GaussDB接入LTS
- 图引擎服务GES接入LTS
- 云数据库 TaurusDB接入LTS
- 云数据库GeminiDB接入LTS
- 云数据库GeminiDB Mongo接入LTS
- 云数据库GeminiDB Cassandra接入LTS
- 华为HiLens接入LTS
- 设备接入IoTDA接入LTS
- AI开发平台ModelArts接入LTS
- MapReduce服务MRS接入LTS
- 云数据库RDS for MySQL接入LTS
- 云数据库RDS for PostgreSQL接入LTS
- 云数据库RDS for SQLServer接入LTS
- 应用与数据集成平台ROMA Connect接入LTS
- 视频直播Live接入LTS
- 消息通知服务SMN接入LTS
- 安全云脑SecMaster接入LTS
- 对象存储服务OBS接入LTS(邀测)
- 虚拟私有云VPC接入LTS
- Web应用防火墙WAF接入LTS
- 使用API接入LTS
- 使用SDK接入LTS
- 跨IAM账号接入LTS
- 使用KAFKA协议上报日志到LTS
- 使用Flume采集器上报日志到LTS
- 使用匿名写入采集日志
- 自建中间件
- 日志搜索与分析(默认推荐)
- 日志搜索与分析(管道符方式-邀测)
- 日志可视化
- 日志告警
- 日志转储
- 日志消费与加工
- LTS配置中心管理
- 查看LTS审计事件
- 最佳实践
- 开发指南
- API参考
- SDK参考
- 场景代码示例
- 常见问题
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
日志转储至DLI
数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
基于转储DLI功能,您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中,进行后续的大数据分析工作。
前提条件
日志转储至DLI
- 登录云日志服务控制台,在左侧导航栏中选择“日志转储 ”。
- 在“日志转储”页面中,单击右上角“配置转储”。
- 在“配置转储”页面中,选择转储对象“DLI集群”,并配置各参数信息。
表1 配置转储参数说明 参数名称
说明
示例
是否开启转储
选择是否开启转储。
开启
转储对象
选择转储的云服务。
DLI集群
日志组名称
选择已创建的日志组。
-
企业项目
选择已创建的企业项目。
- 如果当前账号未开通企业项目则不显示该参数。
- 如果当前账号已开通企业项目,则存在以下情况:
- 当转储当前账号日志时,下拉框显示当前账号的全部企业项目。
- 当转储其他账号日志时,若委托账号未开通企业项目,则默认显示“default”。
- 当转储其他账号日志时,若委托账号已开通企业项目,则显示委托账号的全部企业项目。
default
日志流名称
选择已创建的日志流。
已配置过DLI集群转储的日志流不能重复配置。
-
DLI-数据库
需要转储的目标DLI数据库名称。更多信息请参见DLI库表管理。
test
DLI-数据表
需要转储的目标DLI数据库表名称。更多信息请参见DLI库表管理。
-
表普通列映射
将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。
内置字段有13个,分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName。
- 在结构化字段和表字段的
下拉框,选择您需要转储的字段。
- 单击操作列下的
,删除不需要转储的字段。
- 单击
,添加您需要转储的字段。
- 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。
-
表分区列映射
存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。
内置字段有13个,分别是hostIP、 hostId、hostName、pathFile、collectTime、clusterName、clusterId、 podName、containerName、regionName、projectId、logGroupName和logStreamName
- 在结构化字段和表字段的
下拉框,选择您需要转储的字段。
- 单击操作列下的
,删除不需要的转储字段。
- 单击
,添加您需要转储的字段,只能添加一个表字段。
-
- 完成后单击“确定”。
创建转储任务成功后,支持查看、修改、删除转储任务。
- 转储任务一旦删除将不再对日志进行转储,请谨慎操作。
- 删除转储任务后,之前已经转储日志将会继续保存在DLI。