分布式消息服务Kafka版
分布式消息服务Kafka版
- 最新动态
- 功能总览
- 服务公告
- 产品介绍
- 计费说明
- 快速入门
- 用户指南
- 最佳实践
- 开发指南
- API参考
- SDK参考
-
常见问题
-
实例问题
- 为什么可用区不能选择2个?
- 创建实例时为什么无法查看子网和安全组等信息?
- 如何选择Kafka实例的存储空间?
- Kafka实例的超高IO和高IO如何选择?
- 如何选择Kafka实例存储容量阈值策略?
- Kafka服务端支持版本是多少?
- Kafka实例的ZK地址是什么?
- 创建的Kafka实例是集群模式么?
- Kafka实例是否支持修改访问端口?
- Kafka实例的SSL证书有效期多长?
- 如何将Kafka实例中的数据同步到另一个Kafka实例中?
- Kafka实例的SASL_SSL开关如何修改?
- SASL认证机制如何修改?
- 如何修改安全协议?
- 修改企业项目,是否会导致Kafka重启?
- 100MB/s的带宽怎样开启公网访问?
- Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署?
- Kafka包周期实例支持删除吗?
- Kafka支持哪些加密套件?
- 购买实例时选择的单AZ,怎样可以扩展为多AZ?
- Kafka是否支持跨AZ容灾?已经购买的实例在哪里查看是否为跨AZ?
- Kafka支持磁盘加密吗?
- Kafka实例创建后,能修改VPC和子网吗?
- 有没有Kafka Stream的案例?
- Kafka实例版本可以升级吗?
- 怎样重新绑定公网IP?
- 实例规格变更问题
-
连接问题
- 选择和配置安全组
- Kafka实例是否支持公网访问?
- Kafka实例的连接地址默认有多少个?
- 是否支持跨Region访问?
- Kafka实例是否支持跨VPC访问?
- Kafka实例是否支持不同的子网?
- Kafka是否支持Kerberos认证,如何开启认证?
- Kafka实例是否支持无密码访问?
- 开启公网访问后,在哪查看公网IP地址?
- Kafka支持服务端认证客户端吗?
- 连接开启SASL_SSL的Kafka实例时,ssl truststore文件可以用PEM格式的吗?
- 下载的证书JKS和CRT有什么区别?
- Kafka支持哪个版本的TLS?
- Kafka实例连接数有限制吗?
- 客户端单IP连接的个数为多少?
- Kafka实例的内网连接地址可以修改吗?
- 不同实例中,使用的SSL证书是否一样?
- 为什么不建议使用Sarama客户端收发消息?
- Topic和分区问题
- 消费组问题
- 消息问题
-
Kafka Manager问题
- 登录Kafka Manager的账号是否可以设置为只读账号?
- 登录到Kafka Manager页面,为什么获取不到节点信息?
- Yikes! Insufficient partition balance when creating topic : projectman_project_enterprise_project Try again.
- Kafka Manager能否查询到消息的正文?
- Kafka Manager WebUI的端口能否修改?
- 在Kafka Manager上支持修改Topic的哪些属性?
- Kafka Manager和云监控显示的信息不一致
- Kafka Manager如何修改Topic的分区Leader?
- 实例版本在控制台和Kafka Manager上显示不一致?
- 为什么实例中存在默认名为__trace和__consumer_offsets的Topic?
- 客户端删除消费组后,在Kafka Manager中仍可以看到此消费组?
- 监控告警问题
- Kafka体验版使用说明
-
实例问题
- 故障排除
- 视频帮助
- 文档下载
- 通用参考
本文导读
链接复制成功!
配置Kafka数据转储至OBS
本章节介绍如何创建转储的Smart Connect任务,通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中,实现消息数据的备份。
源Kafka实例中的数据会实时同步到转储文件中。
约束与限制
- 单机实例不支持创建转储的Smart Connect任务。
- 一个实例最多创建18个Smart Connect任务。
- Smart Connect任务创建成功后,不支持修改任务参数。
前提条件
- 已开启Smart Connect。
- 已创建Kafka实例,且实例状态为“运行中”。
- 已创建的OBS桶和Kafka实例需要在同一个区域。
配置Kafka数据转储至OBS
- 登录管理控制台。
- 在管理控制台左上角单击
,选择Kafka实例所在的区域。
- 在管理控制台左上角单击
,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
- 在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。
- 单击Kafka实例名称,进入实例详情页面。
- 在左侧导航栏单击“Smart Connect”,进入Smart Connect任务列表页面。
- 单击“创建Smart Connect任务”,进入“创建smart connect”页面。
- 在“connect任务名称”中,输入Smart Connect任务的名称,用于区分不同的Smart Connect任务。任务名称需要符合命名规则:长度为4~64个字符,只能由英文字母、数字、中划线、下划线组成。
- 在“预置类型”中,选择“转储”。
- 在“立即执行”中,选择任务创建后是否立即执行任务,默认开启立即执行。如果关闭,在需要执行此任务时,您可以在Smart Connect任务列表中手动开启任务。
- 在“源端配置”中,保持默认设置。
- 在“Topic配置”中,设置以下参数。
表1 Topic配置参数说明 参数
参数说明
正则表达式
表示以正则表达式的方式订阅Topic,并进行转储。
输入/选择
输入/选择待转储的Topic名称,支持选择多个Topic,以逗号“,”分隔。最多输入/选择20个Topic。
- 在“目标端配置”中,设置以下参数。
表2 目标端参数说明 参数
参数说明
转储启动偏移量
支持以下两种转储启动偏移量:
- 最早:最小偏移量,即读取最早的数据。
- 最新:最大偏移量,即获取最新的数据。
数据转储周期
两次转储的时间间隔,单位:秒,默认配置为300秒。
若某个时间段内无数据,则此时间段不会生成打包文件。
AK
访问密钥ID。
获取AK的方法,具体请参见新增访问密钥。
SK
与访问密钥ID结合使用的密钥。
获取SK的方法,具体请参见新增访问密钥。
转储地址
设置存储Topic数据的OBS桶的名称。
- 选择:在下拉列表中选择已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。
- 输入:输入已创建的OBS桶名称,或者单击“创建转储地址”,新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。
转储目录
OBS中存储Topic的目录,多级目录可以用“/”进行分隔。
时间目录格式
数据将存储在转储目录下的时间目录中,时间目录是按时间格式作为层级的目录。例如,当选择的时间目录格式精确到日时,存储目录为:“桶名称/转储目录/年/月/日”。
记录分隔符
在下拉列表中选择一种分隔符,分隔不同的转储记录。
存储Key
是否转储Key,开启表示转储Key,关闭表示不转储Key。
说明:
消息进行转储时,不支持以Key作为文件名。
- 单击“立即创建”,跳转到Smart Connect任务列表页面,页面右上角显示“创建xxx任务成功”。
父主题: 使用Smart Connect迁移数据