云日志服务 LTS
云日志服务 LTS
- 最新动态
- 功能总览
- 产品介绍
- 计费说明
- 快速入门
-
用户指南
- 授权IAM用户使用云日志服务LTS
- 购买LTS资源包
- 日志管理
-
日志接入
- 日志接入概述
- 使用ICAgent插件采集日志
-
使用云服务接入LTS
- 云服务接入LTS概述
- 应用运维管理AOM接入LTS
- API网关APIG接入LTS
- Astro轻应用接入LTS
- 云堡垒机CBH接入LTS
- 内容分发网络CDN接入LTS
- 云防火墙CFW接入LTS
- 云审计服务CTS接入LTS
- 分布式缓存服务DCS接入LTS
- 文档数据库服务DDS接入LTS
- DDoS防护 AAD接入LTS
- 分布式消息服务Kafka版接入LTS
- 数据复制服务DRS接入LTS
- 数据仓库服务GaussDB(DWS)接入LTS
- 弹性负载均衡 ELB接入LTS
- 企业路由器ER接入LTS
- 函数工作流FunctionGraph接入LTS
- 云数据库GaussDB接入LTS
- 图引擎服务GES接入LTS
- 云数据库 TaurusDB接入LTS
- 云数据库GeminiDB接入LTS
- 云数据库GeminiDB Mongo接入LTS
- 云数据库GeminiDB Cassandra接入LTS
- 华为HiLens接入LTS
- 设备接入IoTDA接入LTS
- AI开发平台ModelArts接入LTS
- MapReduce服务MRS接入LTS
- 云数据库RDS for MySQL接入LTS
- 云数据库RDS for PostgreSQL接入LTS
- 云数据库RDS for SQLServer接入LTS
- 应用与数据集成平台ROMA Connect接入LTS
- 视频直播Live接入LTS
- 消息通知服务SMN接入LTS
- 安全云脑SecMaster接入LTS
- 对象存储服务OBS接入LTS(邀测)
- 虚拟私有云VPC接入LTS
- Web应用防火墙WAF接入LTS
- 使用API接入LTS
- 使用SDK接入LTS
- 跨IAM账号接入LTS
- 使用KAFKA协议上报日志到LTS
- 使用Flume采集器上报日志到LTS
- 使用匿名写入采集日志
- 自建中间件
- 日志搜索与分析(默认推荐)
- 日志搜索与分析(管道符方式-邀测)
- 日志可视化
- 日志告警
- 日志转储
- 日志消费与加工
- LTS配置中心管理
- 查看LTS审计事件
- 最佳实践
- 开发指南
- API参考
- SDK参考
- 场景代码示例
- 常见问题
- 视频帮助
- 文档下载
- 通用参考
链接复制成功!
创建消费组
您可以在华为云LTS控制台为日志流创建消费组,使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等,只需要关注业务逻辑。
云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。
目前此功能在邀测中,暂不支持申请开通。
概念 |
说明 |
---|---|
消费组 |
|
消费者 |
消费组的基本构成单元,承担消费任务,可以根据您的服务自行决定消费者数量。 |
Shard |
云日志服务将数据必定保存在某一个Shard中,是数据存储的基本单元。 |
CheckPoint |
消费点位,是消费者消费到的最新位置。程序重启后,SDK会自动通过CheckPoint恢复上次的消费进度。 |
消费逻辑
一个日志流包含多个Shard,通过消费组消费数据就是将Shard分配给消费组的消费者,分配规则如下:
- 在消费过程中,一个Shard只会分配给一个消费者
- 在消费过程中,一个消费者可以消费多个Shard
当消费组新增/减少消费者,或者日志流的Shard数量增加时,这个时候消费组的Shard会重新分配给当前的消费者,以实现消费者的负载均衡。分配规则不变如上。
创建消费组
- 登录云日志服务控制台。
- 单击日志组名称对应的
按钮。
- 单击日志流名称进入日志流详情页面,单击右上角
,在弹出页面中,选择“日志消费”页签。
- 单击新建消费组,填写消费组名称,单击“确定”。
- (可选)当某个消费组,消费到一定位置时,如果想重头或者指定一个时间继续进行消费,支持重置消费位点。
单击重置消费点位,支持设置最早位置和指定时间点,需要重启SDK后,重置消费位点才能生效。
- 最早位置:从头开始一直拉取到当前最新时间的日志。
- 指定时间点:从指定的时间点一直拉取到当前最新时间的日志。
- 消费期间重置消费位点,会导致消费日志紊乱,建议停止消费后再重置消费位点。
父主题: 使用消费组管理消费数据(邀测)