云日志服务 LTS
云日志服务 LTS
- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 授权IAM用户使用云日志服务LTS
- 购买LTS资源包
- 日志管理
-
日志接入
- 日志接入概述
- 使用ICAgent插件采集日志
-
使用云服务接入LTS
- 云服务接入LTS概述
- 应用运维管理AOM接入LTS
- API网关APIG接入LTS
- Astro轻应用接入LTS
- 云堡垒机CBH接入LTS
- 内容分发网络CDN接入LTS
- 云防火墙CFW接入LTS
- 云审计服务CTS接入LTS
- 分布式缓存服务DCS接入LTS
- 文档数据库服务DDS接入LTS
- DDoS防护 AAD接入LTS
- 分布式消息服务Kafka版接入LTS
- 数据复制服务DRS接入LTS
- 数据仓库服务GaussDB(DWS)接入LTS
- 弹性负载均衡 ELB接入LTS
- 企业路由器ER接入LTS
- 函数工作流FunctionGraph接入LTS
- 云数据库GaussDB接入LTS
- 图引擎服务GES接入LTS
- 云数据库 TaurusDB接入LTS
- 云数据库GeminiDB接入LTS
- 云数据库GeminiDB Mongo接入LTS
- 云数据库GeminiDB Cassandra接入LTS
- 华为HiLens接入LTS
- 设备接入IoTDA接入LTS
- AI开发平台ModelArts接入LTS
- MapReduce服务MRS接入LTS
- 云数据库RDS for MySQL接入LTS
- 云数据库RDS for PostgreSQL接入LTS
- 云数据库RDS for SQLServer接入LTS
- 应用与数据集成平台ROMA Connect接入LTS
- 视频直播Live接入LTS
- 消息通知服务SMN接入LTS
- 安全云脑SecMaster接入LTS
- 对象存储服务OBS接入LTS(邀测)
- 虚拟私有云VPC接入LTS
- Web应用防火墙WAF接入LTS
- 使用API接入LTS
- 使用SDK接入LTS
- 跨IAM账号接入LTS
- 使用KAFKA协议上报日志到LTS
- 使用Flume采集器上报日志到LTS
- 使用匿名写入采集日志
- 自建中间件
- 日志搜索与分析(默认推荐)
- 日志搜索与分析(管道符方式-邀测)
- 日志可视化
- 日志告警
- 日志转储
- 日志消费与加工
- LTS配置中心管理
- 查看LTS审计事件
- 最佳实践
- 开发指南
- API参考
- SDK参考
- 场景代码示例
- 常见问题
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
LTS-Flink-Connector参数说明
云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。
LTS-Flink-Connector工具支持以下表1。
使用限制
- 仅flink1.12版本支持云日志服务提供的lts-flink-connector工具。
- LTS服务不支持作为维表。
- lts-flink-connector仅保证At-Least-Once语义。
- lts-flink-connector source和sink日志不能为同一个日志流。
- flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。
语法结构
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
CREATE TABLE source ( field1 INT, field2 INT, field3 VARCHAR )with ( 'connector' = 'lts', 'regionName' = '<yourRegionName>', 'projectId' = '<yourProjectId>', 'accessKey' = '<yourAk>', 'accessSecret' = '<yourSk>', 'logGroupId' = '<yourLogGroupId>', 'logStreamId' = '<yourLogStreamId>', 'consumerGroup' = '<yourConsumerGroup>', 'startTime' = '<consumerStartTime>', 'jsonParse' = 'true' );
WITH参数
- 通用参数
表2 通用参数说明 参数名称
描述
类型
是否必填
默认值
connector
表类型。
String
必填
lts
regionName
云日志服务的区域
String
必填
-
projectId
华为云账号的项目ID(project id)
String
必填
-
logGroupId
LTS的日志组ID
String
必填
-
logStreamId
LTS的日志流ID
String
必填
-
accessKey
华为云账号的AK
String
必填
-
accessSecret
华为云账号的SK
String
必填
-
consumerGroup
LTS日志流对应的消费组名称
String
必填
-
startTime
消费开始时间,纳秒值
Long
必填
-
stopTime
消费结束时间,纳秒值
Long
选填
-
jsonParse
是否对原始日志做json解析
Boolean
选填
false
类型映射
Flink字段类型 |
LTS字段类型 |
---|---|
VARCHAR |
STRING |
代码示例
认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
CREATE TABLE source ( filed1 varchar, filed2 varchar, filed3 varchar )with ( 'connector' = 'lts', 'regionName' = 'cn-north-4', 'projectId' = '{projectId}', 'accessKey' = '{ak}', 'accessSecret' = '{sk}', 'logGroupId' = '{groupId}', 'logStreamId' = '{streamId}', 'consumerGroup' = '{consumerGroup}', 'startTime' = '1689836602157000000', 'jsonParse' = 'true' ); CREATE TABLE print_sink ( filed1 varchar, filed2 varchar, filed3 varchar )with ( 'connector' = 'lts', 'regionName' = 'cn-north-4', 'projectId' = '{projectId}', 'accessKey' = '{ak}', 'accessSecret' = '{sk}', 'logGroupId' = '{groupId}', 'logStreamId' = '{streamId}' ); insert into print_sink select * from source;
父主题: 使用消费组管理消费数据(邀测)